spark与hive集成的问题

ambari默认安装的spark，是无法访问hive的。

需要把 /etc/hive/conf 中的 hive-site.xml 移到spark的conf目录下

并修改以下配置

hive.strict.managed.tables=false 
hive.create.as.insert.only=false 
metastore.create.as.acid=false

 hive.load.data.owner=admin

 

------------如果想在本地调试spark访问hive读取数据，将hive-site/hdfs-site移到本地resouces目录下

在类中添加

System.setProperty("hadoop.home.dir", "*****")
System.setProperty("HADOOP_USER_NAME","admin")