- 博客(4)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 关于如何从hdfs上导大数据到本地
引出问题： 看了上次的理解一是不是觉得有点矛盾啊，在总体设计思想中提到Spark Streaming按照时间片获取到的数据流，然后将数据流转化为RDD。但在内部实现的时候说的是先生成DSteram Graph,在转化为RDD Graph.其实没问题的，今天我们就来分析这个过程。程序转换为DStream Graph的过程。DStream Graph 转化为RDD Graph的过程总结
2015-05-14 15:01:27
7068
转载 Spark Streaming 理解之实时处理与流处理
什么是流处理（流处理实现了什么效果）流处理的设计思想有哪些流处理技术并分析其优缺点、实用场景具体在Spark Streaming上体现的优势不足总结 转载：实时处理与流处理 http://blog.csdn.net/dc_726/article/details/41143225 要说实时处理就得先提一下实时系统(Real-timeSystem)。所谓实时系统就是能在严格的时间限制内响应请
2015-04-13 17:03:04
1519
原创 Spark Streaming 理解一
概念 spark Streaming ：构建在Spark上处理Stream数据的框架，其基于实时数据流的数据处理（streaming data processing），通常的时间跨度在数百毫秒到数秒之间。 ，基本的原理是将Stream数据分成小的时间片断（几秒），以类似batch批量处理的方式来处理这小部分数据。Spark Streaming构建在Spark上，一方面是因为Spark的低延迟执行引
2015-04-13 11:47:24
802
原创 Standalone模式下Spark 中通信机制的源码分析
Standalone模式下Spark 中通信机制的源码分析 索引前提要求宏观概念详细实现资料获取总结 正文前提要求 看本博文前要掌握scala基础语言，这个网上有很多免费下载的资料。应该很容易获取。再就是需要有spark内部架构，机制的理解。链接：[(http://blog.sina.com.cn/s/blog_4d1426660102v5u2.html)]宏观概念 首先，sp
2015-03-12 16:04:43
929
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人