- 博客(10)
- 资源 (3)
- 收藏
- 关注
原创 Spark 定制版:010~Spark Streaming源码解读之流数据不断接收全生命周期彻底研究和思考
本讲内容:a. 数据接收架构设计模式 b. 数据接收源码彻底研究注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解。上节回顾上一讲中,我们给大家具体分析了Receiver启动的方式及其启动设计带来的多个问题:a. 如果有多个InputDStream,那就要启动多个Receiver,每个Receiver也就相当于分片partition,那我启动Receiver
2016-05-30 22:58:14 2178
原创 Spark 定制版:009~Spark Streaming源码解读之Receiver在Driver的精妙实现全生命周期彻底研究和思考
本讲内容:a. Receiver启动的方式设想 b. Receiver启动源码彻底分析注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解。上节回顾上一讲中,我们给大家具体分析了RDD的物理生成和逻辑生成过程,彻底明白DStream和RDD之间的关系,及其内部其他有关类的具体依赖等信息:a. DStream是RDD的模板,其内部generatedRDDs 保
2016-05-30 01:40:14 8898
原创 Spark 定制版:008~Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考
本讲内容:a. DStream与RDD关系的彻底的研究 b. Streaming中RDD的生成彻底研究注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解。上节回顾上节课,我们重点给大家揭秘了JobScheduler内幕;可以说JobScheduler是整个Spark Streming的调度的核心,其地位相当于Spark Core中的DAGScheduler
2016-05-25 23:52:19 11296
原创 Spark 定制版:007~Spark Streaming源码解读之JobScheduler内幕实现和深度思考
本讲内容:a. JobScheduler内幕实现 b. JobScheduler深度思考注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解。上节回顾上节课,我们以JobGenerator类为重心,为大家左右延伸,解密Job之动态生成;并总结出了Job之动态生成的三大核心:a. JobGenerator: 负责Job生成b. JobSheduler:负责Job
2016-05-24 23:22:48 10995
原创 Spark 定制版:006~Spark Streaming源码解读之Job动态生成和深度思考
本讲内容:a. Spark Streaming Job生成深度思考 b. Spark Streaming Job生成源码解析注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解。上节回顾上节课,主要是从Spark Streaming+Spark SQL来实现分类最热门商品的在线动态计算的事例代码开始,并通过Spark源代码给大家贯通Spark Streami
2016-05-23 00:10:06 2648
原创 Spark 定制版:005~贯通Spark Streaming流计算框架的运行源码
本讲内容:a. 在线动态计算分类最热门商品案例回顾与演示 b. 基于案例贯通Spark Streaming的运行源码注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解。上节回顾上节课主要从事务视角为大家探索Spark Streaming架构机制;Spark Streaming程序分成而部分,一部分是Driver,另外一部分是Executor。通过对Driv
2016-05-09 01:10:48 3900
原创 Spark 定制版:004~Spark Streaming事务处理彻底掌握
本讲内容:a. Exactly Once b. 输出不重复注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解。上节回顾:上节课通过案例透视了Spark Streaming Job架构和运行机,并结合源码进行了详细解说;同时也了解了Spark Streaming Job的容错机制,包括 Executor 与 Driver两方面的容错机制。也就是说Job的事务处
2016-05-09 00:13:58 9681 1
原创 Spark 定制版:003~Spark Streaming(三)
本讲内容:a. Spark Streaming Job 架构和运行机制 b. Spark Streaming Job 容错架构和运行机制注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解。上节回顾:上节课谈到Spark Streaming是基于DStream编程。DStream是逻辑级别的,而RDD是物理级别的。DStream是随着时间的流动内部将集合封装
2016-05-08 17:43:04 3698
原创 Spark 定制版:002~Spark Streaming(二)
本讲内容:a. 解密Spark Streaming运行机制 b. 解密Spark Streaming架构注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解。上节回顾:上节课谈到技术界的寻龙点穴,Spark就是大数据的龙脉,而Spark Streaming就是Spark的穴位。假如要构建一个强大的Spark应用程序 ,Spark Streaming 是一个值
2016-05-07 01:26:43 5024
原创 Spark 定制版:001~Spark Streaming(一)
Spark 定制版~Spark Streaming(一)本讲内容:a. SparkStreaming在线另类实验 b. 瞬间理解SparkStreaming的本质源码定制为什么从Spark Streaming切入?a. Spark 最初只有Spark Core,通过逐步的发展,扩展出了Spark SQL、Spark Streaming、Spark MLlib(machine learning)
2016-05-05 00:49:44 9137 2
数据科学入门
2018-02-08
TensorFlow+官方文档中文版.pdf
2018-02-07
面向机器智能的TensorFlow实践
2018-02-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人