![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
小mia
这个作者很懒,什么都没留下…
展开
-
2021-06-27
Spark提交任务报错:java.lang.ClassNotFoundException: test.ScoreDemo 背景 运行spark-submit 报错无法加载主类。我在网上遨游找了几个小时还是没找到解决问题的正确答案。 基本都是说在sparkConf后面加上jar包绝对路径setJars(List("/home/li/IdeaProjects/sparktest/out/artifacts/sparktest_jar/sparktest.jar ") ,依旧没有解决问题。 解决方案 关键在于打包原创 2021-06-28 00:09:58 · 65 阅读 · 0 评论 -
2021-05-26
Spark Streaming(文件流、套接字流、RDD队列流) 今天复习spark Streaming的文件流和套接字流以及RDD队列流。 1.文件流 import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object SparkStreamingTest1 { def main(args: Array[String]): Unit = { val原创 2021-05-26 17:39:07 · 121 阅读 · 0 评论