5.4.0Spark和Hive集成(Derby)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Simon_09010817/article/details/79970925

Spark和Hive集成(Derby)

一、      更改Hive安装目录conf下的hive-site.xml文件

<property>
    <name>hive.metastore.uris</name>
    <value>thrift://master:9083</value>
    <description>Thrift URI for theremote metastore. Used by metastore client to connect to remotemetastore.</description>
</property>

二、      将hive-site.xml文件拷贝到spark安装目录conf下

cp hive-site.xml/usr/spark/spark-2.1.1/conf/

三、      启动元数据

        启动会卡住。不知道什么原因。。。不过不影响整合。

四、      查看进程

        有一个RunJar

五、      如果没有启动元数据启动spark-sql会报错

六、      在hive安装目录的bin目录下启动spark-sql测试

        启动成功:

七、      测试查询

show tables;

select * from test;

八、      启动spark-shell

九、      使用spark-shell查询


        1.     增加数据


        更新操作,hive默认只支持INSERT,不支持UPDATE DELETE


阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页