![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Luke Lan
这个作者很懒,什么都没留下…
展开
-
SparkStreaming随笔之Receivcer
1.sparkstreaming的receiver启动流程。 首先是:StreamingContext的start方法。 然后到JobScheduler的start方法,这个时候已经产生了ReceiverTracker对象。 ReceiverTracker对象调用了start方法。start方法中核心代码如下: if (!receiverInputS...原创 2019-01-19 23:20:36 · 173 阅读 · 0 评论 -
Structured Streaming之StateStoreProvider
这个类主要作用是状态更新,描述如下: An implementation of [[StateStoreProvider]] and [[StateStore]] in which all the data is backed by files in a HDFS-compatible file system.All updates to the store has to be don...原创 2019-03-10 21:46:49 · 437 阅读 · 0 评论 -
Spark之MetricsSystem
1.看启动start方法,spark中有哪些类调用了MetricsSystem类的start方法 SparkEnv,Master,SparkContext,Worker,ExternalShuffleService,主要讲ExternalShuffleService ExternalShuffleService:这个类的作用是提供一个服务来读取shuffle程序,可以防止executo...原创 2019-02-12 23:24:41 · 398 阅读 · 0 评论 -
Hadoop全局排序报错
1.在多个reducetask的并且进行全局排序的时候报出错误: java.io.IOException:wrong key class: org.apache.hadoop.io.Text is not class org.apache.hadoop.io.LongWritable这个问题原因是输入的Key和输出的key不一致导致的。为什么会导致这个问题呢?Hadoop 全局排...原创 2019-02-17 12:26:32 · 324 阅读 · 0 评论 -
Spark源码之SparkListener
1.看看SparkListener提交的过程,如何提交的?LiveListenerBus类中大小和存储结构,存储通过LinkedBlockingQueue来管理的,里面存放事件类型的数据。private lazy val EVENT_QUEUE_CAPACITY = validateAndGetQueueSize()private lazy val eventQueue...原创 2019-01-29 23:57:33 · 403 阅读 · 0 评论 -
Sparkstreaming之JobScheduler
1.processEvent方法//接口继承关系private[scheduler] sealed trait JobSchedulerEventprivate[scheduler] case class JobStarted(job: Job, startTime: Long) extends JobSchedulerEventprivate[scheduler] case clas...原创 2019-01-16 22:56:41 · 349 阅读 · 0 评论 -
sparkLauncher源码之LauncherServer
1.这个类主要作用是接受消息然后调用listener监听 * * ----------------------- ----------------------- * | User App | spark-submit | Spark App | * ...原创 2019-01-26 23:41:38 · 712 阅读 · 0 评论 -
SparkStreaming之StreamingContext
1.startSparkStreaming 入口类,提供了大量根据不同数据源创建DStream的方法。def start(): Unit = synchronized { state match { //INITIALIZED表示context被创建,但是并不没有开始它。输入流,转换,和输出操作都被创建。 case INITIALIZED =>//设置代表用户...原创 2019-01-15 23:29:36 · 1055 阅读 · 0 评论