Hive的安装配置及使用

前期准备

在安装Hive的前提是虚拟机上以及安装mysql和hadoop，并成功启动，查看正在运行的指令为：

jps

检查MySQL

登录MySQL查看是否可以登录

mysql -u root -p123456
show databases;

检查Hadoop

使用hdfs命令测试一下就好了

hdfs dfs -ls /

能够正常的响应就说明没有问题

开始安装

1、在MySQL中创建hive元数据库

create database hive character set “latin1”;
（这里编码设置是拉丁1，为什么要设置这个呢，其实是因为如果不设置成拉丁1的话hive在1.2.1版本中有冲突，后期在操作的时候会跳垃圾回收，所以我们后期可以修改，让其支持UTF-8）

2、上传安装包并解压

2.1解压

tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/local/soft/

目录太长了，这里我们可以选择重命名

mv apache-hive-1.2.1-bin/ hive-1.2.1

所以我们前期导入MySQL驱动可以放到lib中

3、配置环境变量

vim /etc/profile

别忘记还有最终要的一步就是source一下

3.1检查环境变量是否配置完毕

打出hi摁俩下tab键

4、修改配置文件

4.1进入hive-1.2.1/conf目录，复制备份文件并重命名

cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml

4.2修改hive-env.sh文件

加入三行内容（大家根据自己的目录和实际情况来添加）

HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
JAVA_HOME=/usr/local/soft/jdk1.8.0_171
HIVE_HOME=/usr/local/soft/hive-1.2.1

4.3修改hive-site.xml

<property>
					<name>javax.jdo.option.ConnectionURL</name>
					<value>jdbc:mysql://master:3306/hive?useSSL=false</value>//jdbc的链接
				</property>
				<property>
					<name>javax.jdo.option.ConnectionDriverName</name>
					<value>com.mysql.jdbc.Driver</value>//驱动名称
				</property>
				<property>
					<name>javax.jdo.option.ConnectionUserName</name>
					<value>root</value>//链接MySQL的用户名
				</property>
				<property>
					<name>javax.jdo.option.ConnectionPassword</name>
					<value>123456</value>//链接MySQL的密码
				</property>
				<property>
					<name>hive.querylog.location</name>
					<value>/usr/local/soft/hive-1.2.1/tmp</value>//查询日志路径
				</property>
				<property>
					<name>hive.exec.local.scratchdir</name>
					<value>/usr/local/soft/hive-1.2.1/tmp</value>//拉取数据路径
				</property>
				<property>
					<name>hive.downloaded.resources.dir</name>
					<value>/usr/local/soft/hive-1.2.1/tmp</value>//上传资源路径
				</property>

小tip：/是查询

4.4拷贝mysql驱动到$HIVE_HOME/lib目录下

cp /usr/local/soft/packages/mysql-connector-java-5.1.49.jar ./lib/

4.5将hive的jline-2.12.jar拷贝到hadoop对应目录下

hive的 jline-2.12.jar 位置在 ：/usr/local/soft/hive-1.2.1/lib/jline-2.12.jar
将hive的jar拷过去hadoop下：

cp /usr/local/soft/hive-1.2.1/lib/jline-2.12.jar /usr/local/soft/hadoop-2.7.6/share/hadoop/yarn/lib/

运行hive

直接运行即可

后期

我在这里创了俩张表，但是我们在查看表结构的时候可以得出，中文显示的是问号，所以我们在这里需要修改编码

1、修改mysql元数据库hive，让其hive支持utf-8编码以支持中文

登录mysql：

mysql -u root -p123456

切换到hive

use hive;

其实也可以直接在Navicat中修改

1.1、修改字段注释字符集

alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;

1.2、修改表注释字符集

alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

1.3、修改分区表参数，以支持分区键能够用中文表示

alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;

1.4修改索引注解(可选)

alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

这里我们给之前的表删除重修创建即可、

同时，我们在hdfs的web页面中也可以找到这俩张表

上传文件到hive

直接文件拖到xshell中即可
使用yum装一个rz即可

yum install lrzsz

这样就不需要使用xftp拖，比较方便

上传文件

hdfs dfs -put students.txt /user/hive/warehouse/test1.db/students
这时候上传成功数据就来了