废话少说,开门见山。
1:hive版本:2.3.3
下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/
2:hadoop版本:2.7.6
3:hbase版本:1.3.2
hive部署在hadoop的Master机器上,这里,主要针对conf下若干文件进行修改,并替换和删除lib目录下的包:
首先,修改hive-env.sh
cp hive-env.sh.template hive-env.sh
修改hive-env.sh文件:
HADOOP_HOME=/opt/hadoop2
JAVA_HOME=/opt/java
HIVE_HOME=/opt/hive
SPARK_HOME=/opt/spark
HBASE_HOME=/opt/hbase
上面对应的目录改成自己的目录即可:
接着,新建hive-site.xml文件:
touch hive-site.xml
添加内容:
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.100.103:3306/ccx_hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>u_ccx_hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.execution.engine</name>
<value>spark</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<property>
<name>datanucleus.autoCreateSchema</name>
<value>true</value>
</property>
<property>
<name>datanucleus.autoCreateTables</name>
<value>true</value>
</property>
<property>
<name>datanucleus.autoCreateColumns</name>
<value>true</value>
</property>
</configuration>
配置不细说了:
接着,修改lib下的包:
- 删除一个包
rm -rf log4j-slf4j-impl-2.6.2.jar
该包会导致日志系统冲突,予以删除即可,自动使用Hadoop下的jar包
2:增加mysql相关包:
mysql-connector-java-5.1.37.jar
正式使用之前,需要先进行元数据的存储:
/bin/hive --service metastore &
元数据加载完毕,服务启动,万事大吉。