spark-on-hive环境,hive-on-spark环境配置

最新推荐文章于 2022-12-11 23:35:09 发布

醉无吟

最新推荐文章于 2022-12-11 23:35:09 发布

阅读量472

点赞数

分类专栏： spark hive 文章标签： spark hive

本文链接：https://blog.csdn.net/shijinxin3907837/article/details/103315696

版权

本文介绍了如何配置Spark-on-Hive和Hive-on-Spark环境，强调了无论哪种情况，都必须配置Hive的metastore服务。主要内容包括将MySQL JDBC驱动添加到Spark的jars目录，更新spark-env.sh文件，并将hive-site.xml从Hive的conf目录复制到Spark的conf目录。

摘要由CSDN通过智能技术生成

不管是on-hive还是on-spark，都需要配置hive得metastore服务

①配置hive

<property>
    <name>hive.server2.thrift.port</name>
     <value>10000</value>
</property>

    	<property>
       		<name>hive.server2.thrift.bind.host</name>
       		<value>localhost</value>
     	</property>

 <property>
        　　　　<name>hive.metastore.uris</name>
        　　　　<value>thrift://localhost:9083</value>
        　　</property>

启动：

nohup  hive --service metastore &
nohup  hive --service hiveserver2 &

spark-on-hive:

spark中如果不配置hive环境是无法读取hive表数据的，如下配置：

①如果你的hive元数据存在mysql，把mysql-connector-java-8.0.18.jar复制到spark的jars中

②在spark的spark-env.sh中添加：

export HIVE_HOME=/root/bigdata/hive-2.3.6
export HIVE_CONF_DIR=${HIVE_HOME}/conf
e

最低0.47元/天解锁文章

醉无吟

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
spark-on-hive环境,hive-on-spark环境配置

spark中如果不配置hive环境是无法读取hive表数据的，如下配置：①如果你的hive元数据存在mysql，把mysql-connector-java-8.0.18.jar复制到spark的jars中②在spark的spark-env.sh中添加：export HIVE_HOME=/root/bigdata/hive-2.3.6export HIVE_CONF_DIR=${HI...
复制链接

扫一扫

专栏目录