Spark整合Hive

23 篇文章 1 订阅

安装hive 
解压hive到指定的目录中,一般解压在/usr/local/hive

tar -zxvf hive-xxx.tar.gz
  • 1

配置系统环境 
这里写图片描述

配置hive-env.sh的环境 
配置hadoop的家目录,配置hive的家目录,已及配置hive配置文件的目录

这里写图片描述

配置hive-site.xml

<property>
    <name>hive.metastore.local</name>
    <value>true</value>
    <description/>
  </property>

  <!--配置mysql-->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://192.168.1.3:3306/hive</value>
    <description/>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description/>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description/>
  </property>

   <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>mysql</value>
    <description/>
  </property>

注意,我用的是windows下的mysql,还有,将mysql的驱动jar包放在hive的lib下

启动hive,启动之前必须初始化数据库:我初始化的是mysql数据库

./schemaTool   --initSchema  --dbType mysql
  • 1

启动hive

./hive
  • 1

这里写图片描述

HDFS上面也有建好的数据表

这里写图片描述

启动spark,启动之前将mysql的驱动包,加入到spark的lib下

这里写图片描述

启动spark-shell

这里写图片描述

建表:

这里写图片描述

HDFS上面也有spark建好的数据表

这里写图片描述

注意: 
1.需要把配置好的hive-site.xml文件copy到spark的安装目录的conf下。 
2.在spark的conf下的spark-env.sh中添加hive配置:

这里写图片描述

Spark整合hive完毕

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值