![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
CodeShelby
这个作者很懒,什么都没留下…
展开
-
SparkStreaming中的常见错误
在将SparkSreaming中的DStreaming打印输出时常发生这种错误:Exception in thread “main” java.lang.IllegalArgumentException: requirement failed: No output operations registered, so nothing to execute原因是不能使用pintln(ds)这种方法,而应该用ds.println()package com.atguigu.spark.SparkStreami原创 2020-09-14 14:57:34 · 643 阅读 · 0 评论 -
Spark中textFile源码分析
textfile源码解析textfile从文件系统中读取文件,基于读取的数据,创建HadoopRDD!object Spark02_RDD_File { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local").setAppName("File - RDD") val sc = new SparkContext(sparkConf)原创 2020-09-03 14:03:47 · 568 阅读 · 0 评论 -
Spark中makeRDD源码分析
makeRDD源码解析// 返回ParallelCollectionRDDdef makeRDD[T: ClassTag]( seq: Seq[T], numSlices: Int = defaultParallelism): RDD[T] = withScope { parallelize(seq, numSlices) }//这里分区数numSlices参数进行了初始化,如果没传入该参数就会是初始化的默认值//将代码块{parallelize(seq,原创 2020-09-03 10:28:45 · 1286 阅读 · 0 评论