5.4.0Spark和Hive集成(Derby)

Spark和Hive集成(Derby)

一、      更改Hive安装目录conf下的hive-site.xml文件

<property>
    <name>hive.metastore.uris</name>
    <value>thrift://master:9083</value>
    <description>Thrift URI for theremote metastore. Used by metastore client to connect to remotemetastore.</description>
</property>

二、      将hive-site.xml文件拷贝到spark安装目录conf下

cp hive-site.xml/usr/spark/spark-2.1.1/conf/

三、      启动元数据

        启动会卡住。不知道什么原因。。。不过不影响整合。

四、      查看进程

        有一个RunJar

五、      如果没有启动元数据启动spark-sql会报错

六、      在hive安装目录的bin目录下启动spark-sql测试

        启动成功：

七、      测试查询

show tables;

select * from test;

八、      启动spark-shell

九、      使用spark-shell查询

        1.     增加数据

        更新操作，hive默认只支持INSERT,不支持UPDATE DELETE