hive
Liu_Genie
这个作者很懒,什么都没留下…
展开
-
Spark读取hive表
Spark读取hive表 hive相关安装问题,请参见别的资料 由于在hive里面操作表是通过mapreduce的方式,效率较低,本文主要描述如何通过spark读取hive表到内存进行计算。 第一步,先把$HIVE_HOME/conf/hive-site.xml放入$SPARK_HOME/conf内,使得spark能够获取hive配置 本次主要遇到两个坑 Hive在spark2.0.0启动时无...原创 2019-02-23 18:45:49 · 3674 阅读 · 0 评论 -
在scala编译的jar包中使用hive,通过spark-submit提交spark sql任务
之前一直是在交互式操作hive表,这次使用scala编译成jar包,提交到spark-submit 首先由于是用maven来管理scala项目,所以需要增加pom.xml的配置文件,要注意scala版本要跟spark的jar包中的scala版本一致,否则编译出来的jar包会报错java.lang.BootstrapMethodError: java.lang.NoClassDefFoundEr...原创 2019-03-02 21:22:13 · 638 阅读 · 0 评论