spark链接hive并查询数据

首先启动 hadoop,mysql,hive 服务

{hadoop}/sbin/start-all.sh

service mysqld start 

hive --service metastore&

hive --service hiveserver2  &

最后启动spark 我是以python方式启动的spark

{spark_home}/bin/pyspark

如果没有报错就是没有什么问题。接下来我们运行一段代码进行测试一下：

>>>from pyspark.sql import HiveContext

>>>from pyspark import SparkConf,SparkContext 

>>>conf = SparkConf().setMaster("local").setAppName("My App") 

>>>sc= SparkContext(conf=conf)

>>> hiveCtx=HiveContext(sc) 
>>>hh=hiveCtx.sql("select * from test")
>>>hh.show()
>>> print hh.first()

Row(id=1)

一切ok，首先要注意下，spark链接hive的时候一定要把 hive/conf下面的hive-site.xml 拷贝到spark/conf 下面

在hive-site.xml 中要配置：主要指明hive的存储位置

<property>  
                <name>hive.metastore.uris</name>  
                <value>thrift://vm000:9083</value>  
                <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>  
        </property>  

我在配置完成之后还是报错就重启了系统，就好了

转载于:https://www.cnblogs.com/tong775131501/p/7595137.html