spark on yarn
Liu_Genie
这个作者很懒,什么都没留下…
展开
-
spark on yarn 配置
之前一直是在搭建好的集群上使用spark。 这次需要在新的集群上使用spark,但是集群只安装了hdfs和yarn组件。经过别人提醒,可以直接spark on yarn运行,经过收集资料,汇总如下: 1. spark on yarn配置 有关spark on yarn的配置参考:[https://blog.csdn.net/qq_21439395/article/details/80678372]...原创 2019-02-23 14:19:14 · 5386 阅读 · 0 评论 -
在scala编译的jar包中使用hive,通过spark-submit提交spark sql任务
之前一直是在交互式操作hive表,这次使用scala编译成jar包,提交到spark-submit 首先由于是用maven来管理scala项目,所以需要增加pom.xml的配置文件,要注意scala版本要跟spark的jar包中的scala版本一致,否则编译出来的jar包会报错java.lang.BootstrapMethodError: java.lang.NoClassDefFoundEr...原创 2019-03-02 21:22:13 · 638 阅读 · 0 评论