![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark定制
Pitt_Zhou
一个信奉“是男人就要做到极致”的人。
展开
-
Spark定制班第6课:Spark Streaming源码解读之Job动态生成和深度思考
Spark Streaming Job动态生成三大核心 JobGenerator:负责Job生成 JobSheduler:负责Job调度 ReceiverTracker:获取元数据 JobGenerator在构造的时候有一个核心的参数是jobScheduler,jobScheduler是整个Job(作业)的生成和提交给集群的核心,JobGenerator会基于DStream生成Job...原创 2016-05-31 00:32:31 · 594 阅读 · 0 评论 -
Spark定制班第2课:通过案例对Spark Streaming透彻理解三板斧之二:解密Spark Streaming运行机制和架构
本期内容: 1 解密Spark Streaming运行机制 2 解密Spark Streaming架构 1 解密Spark Streaming运行机制 上节课我们谈到了技术界的寻龙点穴。这就像过去的风水一样,每个领域都有自己的龙脉,Spark就是龙脉之所在,它的龙穴或者关键点就是SparkStreaming。这是上一节课我们非常清晰知道的结论之一。而且上一节课,我们采用了降维的方式...原创 2016-05-07 20:20:44 · 865 阅读 · 0 评论 -
Spark定制班第3课:通过案例对SparkStreaming透彻理解三板斧之三:解密Spark Streaming运行机制和架构进阶之Job和容错
本期内容: 1解密SparkStreamingJob架构和运行机制 2解密SparkStreamingJob容错架构和运行机制 1解密SparkStreamingJob架构和运行机制 理解SparkStreaming的Job的整个架构和运行机制对于精通SparkStreaming是至关重要的。 我们运行以下的程序,通过这个程序的运行过程进一步加深...原创 2016-05-08 00:04:22 · 869 阅读 · 0 评论 -
Spark定制班第4课:Spark Streaming的Exactly-Once的事务处理和不重复输出彻底掌握
本期内容 1 Exactly-Once事务处理 2 输出不重复的解决办法 1 Exactly-Once事务处理 1)什么是Exactly-Once事务? 数据仅处理一次并且仅输出一次,这样才是完整的事务处理。 以银行转帐为例,A用户转账给B用户,B用户可能收到多笔钱,保证事务的一致性,也就是说事务输出,能够输出且只会输出一次,即A只转一次,B只收一次。 2)从事务...原创 2016-05-08 16:31:49 · 1894 阅读 · 0 评论 -
Spark定制班第5课:基于案例一节课贯通Spark Streaming流计算框架的运行源码
本期内容 1 在线动态计算分类最热门商品案例回顾与演示 2 基于案例贯通Spark Streaming的运行源码 1在线动态计算分类最热门商品案例回顾与演示 我们用SparkStreaming+SparkSQL来实现分类最热门商品的在线动态计算。代码如下: package com.dt.spark.streaming import org.apache.spa...原创 2016-05-08 17:48:45 · 820 阅读 · 0 评论 -
Spark定制班第7课:Spark Streaming源码解读之JobScheduler内幕实现和深度思考
Inlast course, we learned "How the Spark Streaming Job is generated dynamically". Fromthat course, we have known there are 3 key classes for Spark Streaming Job: JobScheduler: schedules Spark Stre...原创 2016-06-07 22:07:02 · 798 阅读 · 0 评论 -
Spark定制班第1课:通过案例对Spark Streaming透彻理解三板斧之一:解密Spark Streaming另类实验及Spark Streaming本质解析
今天是Spark定制班的第1课,这一课将成为我们未来发布Spark源码定制版本的引路石。 注:我们当前课程内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解。 我们从第一课就选择Spark子框架中的Spark Streaming。那么,我们为什么要选择从Spark Streaming入手开始我们的Spark源码版本定制之路?有下面几个方面的理由:原创 2016-05-03 23:07:51 · 4686 阅读 · 0 评论