spark-submit
文章平均质量分 81
nma_123456
这个作者很懒,什么都没留下…
展开
-
提交spark程序
在hadoop环境下执行spark程序,使用spark-submit提交jar package com.spark.classfication; import scala.Tuple2; import org.apache.spark.api.java.*; import org.apache.spark.api.java.function.Function; import org.apac原创 2016-07-06 18:06:19 · 731 阅读 · 0 评论 -
Spark升级到2.0后测试stream-kafka测试报java.lang.NoClassDefFoundError: org/apache/spark/Logging错误
在使用spark读取kafka数据时,当spark升级到2.0之后,出现如上问题:之前遇到了,当时在工程里面添加了org.apache.spark.Logging类,能够运行。 但是在后期使用过程中,又遇到了相同的问题,为了一劳永逸,今天彻底把问题解决。 开发环境:Idea intelligent14 + spark-2.1.0 + kafka 在Idea中安装scala原创 2017-08-11 16:14:51 · 7256 阅读 · 6 评论