Ubantu18.04 部署Hive

Ubantu18.04 部署Hive

一.什么是Hive

Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive是十分适合数据仓库的统计分析和Windows注册表文件。

准备事项

安装Hive前提下 需要先安装hadoop
1.Hive 安装
2.配置Hive
3.安装MySQL 添加Mysql的驱动包
4.初始化元数据
5.启动Hive

1.安装Hive

下载地址:链接: http://hive.apache.org/downloads.html.
解压apache-hive-2.2.1-bin.tar.gz
登录root账户

su 

解压

 tar -zxvf apache-hive-2.2.1-bin.tar.gz 

将解压的hive移动和改名

mv apache-hive-2.2.1-bin /usr/local
mv apache-hive-2.2.1-bin /hive

修改环境变量

 gedit /etc/profile

HIVE_HOME=/usr/lcoal/hive
PATH=$HIVE_HOME/bin
export HIVE_HOME

刷新环境变量

source /etc/proflie

2.配置环境变量

cd /usr/local/hive/conf 
cp hive-default.xml.template hive-site.xml
sudo vim hive-site.xml

添加一下内容

<configuration>
<!-- 连接mysql的地址位置-->
 <property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc.mysql://master:3360/hive?createDatabaseIfNotExist=true</value>
 <description>JDBC connect string for a JDBC metastore</description>
 </property>
 <!-- 连接脚本-->
 <property>
 <name>javax.jdo.option.ConnetionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
 <description>Driver class name for a JDBC metastore</description>
 </property>
 <!--mysql用户名hive-->
 <property>
 <name>javax.jdo.option.ConnetionUserName</name>
 <value>hive</vlaue>
 <description>username to use against metastore database</description>
 </property>
 <!--mysql连接密码hive-->
 <property>
 <name>javax.jdo.option.ConnetionPassword</name>
 <value>hive</value>
 <description>password to use against metastore database</description>
 </property>
</configuration>

修改临时文件夹的路径，并修改为固定路径:

<!--数据保存路径-->
<property>
<name>hive.exec.local.scratchdir</name>
<value>/home/hadoop/iotmp</value>
<description>Local scratch space for Hive jobs</description>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/home/hadoop/iotmp</value>
<description>Temporary local directory for added resources in the remote file system.</description>
</property>

新建iotmp文件夹:

mkdir -p /home/hadoop/iotmp

3.安装并配置MySQL

sudo apt-get install mysql-server 安装

下载Mysql JDBC驱动器
去mysql官方找GA version下载
https://dev.mysql.com/downloads/connector/j/.
下载完后解压

tar -zxvf mysql-connector-java-5.1.48.tar.gz

然后将解压好的jar包移动到hive/lib下

mv mysql-connector-java-5.1.40-bin.jar /usr/local/hive/lib

在HDFS中创建目录和设置权限
启动hadoop,在hadoop 创建hive需要用到目录并设置权限。

sbin/start-all.sh
hadoop fs -ls /
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -mkdir /tmp
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

4.初始化数据库

进入/usr/local/hive/lib目录下，初始化元数据

schematool -initSchema -dbType mysql 

启动

./hive

这样就成功了！