Hive 3.1.1环境搭建与Mysql Spark集成

 

一:解压

tar -zxvf /opt/soft/apache-hive-3.1.1-bin.tar.gz -C /opt/client/

二:在HDFS上创建tmp和hive仓库目录(存在就不需要创建)

hdfs dfs -mkdir /tmp

hdfs dfs -mkdir -p /user/hive/warehouse

在Hive安装目录下的 conf目录下执行

cp hive-default.xml.template hive-site.xml

cp hive-log4j2.properties.template hive-log4j2.properties

cp hive-env.sh.template hive-env.sh

三:配置hive-env.sh

export HADOOP_HOME=/opt/modules/hadoop-3.1.2
export HIVE_CONF_DIR=/opt/modules/hive-3.1.1/conf
export HIVE_AUX_JARS_PATH=/opt/modules/hive-3.1.1/lib

四:配置hive-site.xml

<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>

   <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>

<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://lx:3306/hive?useSSL=false</value>
  </property>

   <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>

  <property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value>
  </property>
<property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
  </property>

  <property>
    <name>hive.cli.print.header</name>
    <value>true</value>
  </property>

五:配置hive-log4j2.properties

property.hive.log.dir = /opt/modules/hive-3.1.1/logs  #指定自己创建的日志目录

六:初始化元数据 (在Hive安装目录执行)

#在MySql中创建Hive的元数据库
create database hive;

#拷贝mysql连接驱动到lib目录下
cp /opt/soft/mysql-connector-java-5.1.46-bin.jar /opt/client/hive-3.1.1/lib/

#在Hive安装目录的bin目录下执行
schematool -dbType mysql -initSchema

出现截图所示代表初始化完成

七:进入MySql 验证查看初始化后的元数据库

八:启动Hive 查看是否安装成功

至此 Hive 3.1.1版本环境搭建完成

如果需要与spark集成  只需要将 hive-site.xml拷贝到spark安装目录下的conf目录 将mysql的驱动拷贝到jars目录下即可

cp hive-site.xml /opt/client/spark/conf
cp mysql-connector-java-5.1.46-bin.jar /opt/client/spark/jars

这个比较简单 图就不贴了