1.Hive安装与配置
Hive官网:https://hive.apache.org/
- 安装文件下载
从Apache官网下载安装文件 http://mirror.bit.edu.cn/apache/hive/
(apache-hive-2.3.2-bin.tar.gz)
还有我选择mysql作为元数据存储,所以还需下载jdbc驱动包。(mysql-connector-java-5.1.45.tar)
下载地址:https://dev.mysql.com/downloads/connector/j/
要把相应的驱动复制到hive-2.3.2/lib文件夹下(mysql-connector-java-5.1.38-bin.jar) - 安装mysql
请参考Hive集成mysql数据库 - 解压安装文件
tar -zxf apache-hive-2.3.2-bin.tar.gz - 设置环境变量
vim ~/.bashrc
source ~/.bashrc - 修改hive-site.xml文件
hive-site.xml详细配置了解:Hive 配置详细说明
vim apache-hive-2.3.2-bin/conf/hive-site.xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.execution.engine</name>
<value>spark</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive_metastore?autoReconnect=true&useUnicode=true&createDatabaseIfNotExist=true&characterEncoding=utf8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
</configuration>
- 修改hive-env.sh文件
cp hive-env.sh.template hive-env.sh
vim hive-env.sh
export HADOOP_HOME=/home/hadoop/opt/hadoop-2.9.0
保存source hive-env.sh使文件生效 - 创建hive-site.xml软连接
cd opt/spark-2.2.1-bin-hadoop2.7/conf
ln -s /home/hadoop/opt/apache-hive-2.3.2-bin/conf/hive-site.xml hive-site.xml
之后
- 给hadoop权限
vim hadoop-2.9.0/etc/hadoop/core-site.xml
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property
2.Hive的运行
- 初始化
cd opt/apache-hive-2.3.2-bin/bin
./schematool -dbType mysql -initSchema
之后进入mysql
mysql -uroot -p
查看数据库show databases;
是否生成performance_schema
- 打开hiveserver2
./hiveserver2
HiveServer2(在Hive 0.11中引入)有它自己的CLI叫做Beeline。hiv病毒现在已经被弃用,因为它缺少多用户、安全以及其他的HiveServer2的功能。从壳层跑出:
3. 运行hive
由于配置过环境变量可以直接执行hive
hive
4. Hive Beeline使用
HiveServer2提供了一个新的命令行工具Beeline,它是基于SQLLine CLI的JDBC客户端。
./beeline -u jdbc:hive2://localhost:10000
Beeline是从HiveServer2的JDBC URL开始的,它依赖于HiveServer2启动的地址和端口。默认情况下,这将是(localhost:10000),所以地址会像jdbc:hive2:/ / localhost:10000。
到这就可以使用啦!!!