关注我的微信公众号:pythonislover,领取python,大数据,SQL优化相关视频资料!~
Python大数据与SQL优化笔 QQ群:771686295
下面说说Ambari2.7+HDP3.0.1 Spark读取Hive数据设置的一些坑,因为最近有人遇到和我同意的问题,所以这里记录下,希望如果有人用和我一样的大数据环境,别再踩这个坑。
Spark Shell下访问Hive的database/table,需要注意2个Spark配置项:
(1) hive.metastore.uris
配置为: thrift://xxxxx:9083
(2) metastore.catalog.default
配置为:Hive
这个选项默认为Spark, 即读取SparkSQL自己的metastore_db,修改完后,Spark Shell会去读取Hive的metastore,这样就可以实现以Spark Shell方式访问Hive SQL方式创建的databases/tables.
hive表读取报错,需要关闭Hive 的ACID,disable transactional 模式。
建表的时候要