- 博客(5)
- 收藏
- 关注
RSS订阅原创 第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码
第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码 这一节课基于一个案例贯通sparkstreaming的源码。 本课内容： 1 在线动态计算分类最热门商品案例回顾与演示 2 基于案例贯通Spark Streaming的运行源码 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之
2016-05-24 09:07:25
196
转载 第4课版本定制：Spark Streaming事务处理彻底掌握
版权声明：本文为博主原创文章，未经博主允许不得转载。 本期内容 1、Exactly Once 2、输出不重复 事务： 银行转帐为例，A用户转账给B用户，B用户可能收到多笔钱，如何保证事务的一致性，也就是说事务输出，能够输出且只会输出一次，即A只转一次，B只收一次。 从事务视角解密SparkStreaming架构： SparkStreaming应用程
2016-05-22 16:59:05
216
原创 第1课：通过案例对Spark Streaming透彻理解三板斧之一
背景： 为什么从SparkStreaming入手？ 因为SparkStreaming 是Spark Core上的一个子框架，如果我们能够完全精通了一个子框架，我们就能够更好的驾驭Spark。SparkStreaming和Spark SQL是目前最流行的框架，从研究角度而言，Spark SQL有太多涉及到SQL优化的问题，不太适应用来深入研究。而SparkStreamin
2016-05-22 16:54:11
267
原创 第11课：Spark Driver中的ReceiverTracker架构设计
第11课：Spark Driver中的ReceiverTracker架构设计 前面已经讲过一些ReceiverTracker的内容，例如ReceiverTracker可以以Driver中具体的算法计算出在具体的executor上启动Receiver。启动Receiver的方法是封装在一个tesk中运行，这个tesk是job中唯一的tesk。实质上讲，ReceiverTracker启动Rec
2016-05-20 10:34:16
261
原创 第10课：Spark Streaming源码解读之流数据不断接收全生命周期彻底研究和思考
第10课：Spark Streaming源码解读之流数据不断接收全生命周期彻底研究和思考 这一个课继续解读sparkstreaming在接收数据的时候生命周期的研究和思考，首先会考虑一下接收数据的架构模式，在这个基础上研究源码。 大数据和其他的IT系统不太一样，例如j2EE或者其他软件开发，架构和设计是首要考虑的。而对于大数据应用程序而言，性能最重要，其次才是架构设计。 Sparkst
2016-05-19 16:44:36
383
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人