虚拟机环境:centos6
下述软件版本依自己本机版本相应修改
一、Spark SQL 与Hive集成(spark-shell)
1.需要配置的项目
1)将hive的配置文件hive-site.xml拷贝到spark conf目录,同时添加metastore的url配置。
执行操作: vi hive-site.xml,添加如下内容:
<property>
<name>hive.metastore.uris</name>
<value>thrift://node1:9083</value>
</property>
2)
拷贝hive中的mysql jar包到 spark 的 lib 目录下