![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
徐程序猿
这个作者很懒,什么都没留下…
展开
-
org.apache.spark.SparkException: A master URL must be set in your configuration
目录:1、问题2、现象3、原因4、解决方案1、问题org.apache.spark.SparkException: A master URL must be set in your configuration2、现象运行代码时候报错3、原因没有在配置中设置URL4、解决方案SparkConf sparkConf = new SparkConf().setAppName(“...原创 2020-01-14 11:10:54 · 227 阅读 · 0 评论 -
Could not find implicit value for parameter spark:org.apache.sql.SparkSession
目录:1、问题2、现象3、原因4、解决方案1、问题Could not find implicit value for parameter spark:org.apache.sql.SparkSession2、现象找不到参数spark的隐式值:org.apache.sql.SparkSession3、原因代码中没有写隐士参数,运行时候报错4、解决方案implicit va...原创 2019-12-18 18:33:07 · 460 阅读 · 0 评论 -
Spark Exception: Task Not Serializable
目录:1、问题2、现象3、原因4、解决方案1、问题Spark Exception: Task Not Serializable2、现象运行代码抛出异常,意思是没有序列化3、原因常见的原因是代码里引用定义的方法,定义的方法不能序列化4、解决方案方案一:在class 或者object上面extends serialize方案二:val conf = new Spark...原创 2019-12-18 18:28:52 · 302 阅读 · 0 评论 -
java.io.FileNotFountException:
目录:1、问题2、现象3、原因4、解决方案1、问题java.io.FileNotFountException:File does not exist:hdfs://master:9000/sparkHistoryLogs2、现象spark-on-yarn错误,spark-on-yarn提交任务时候出现文件找不到,exitcode=153、原因查看日志,发现少一个文件夹4...原创 2019-12-18 18:24:14 · 259 阅读 · 0 评论 -
Spark Streaming 性能调优
目录1、合理的批次处理时间2、合理的kafka拉取数据3、缓存反复使用的Dstream(RDD)4、其他一些优化策略5、结果1、合理的批次处理时间关于Spark Streaming的批处理时间设置是非常重要的,Spark Streaming在不断接收数据的同时,需要处理数据的时间,所以如果设置过段的批处理时间,会造成数据堆积,即未完成的batch数据越来越多,从而发生阻塞。另外值...原创 2019-12-18 10:45:53 · 615 阅读 · 0 评论