spark学习
dbc847023239
这个作者很懒,什么都没留下…
展开
-
Standalone模式下Spark 中通信机制的源码分析
Standalone模式下Spark 中通信机制的源码分析 索引前提要求 宏观概念 详细实现 资料获取 总结 正文前提要求 看本博文前要掌握scala基础语言,这个网上有很多免费下载的资料。应该很容易获取。再就是需要有spark内部架构,机制的理解。链接:[(http://blog.sina.com.cn/s/blog_4d1426660102v5u2.html)] 宏观概念 首先,sp原创 2015-03-12 16:04:43 · 926 阅读 · 0 评论 -
Spark Streaming 理解之实时处理与流处理
什么是流处理(流处理实现了什么效果) 流处理的设计思想 有哪些流处理技术并分析其优缺点、实用场景 具体在Spark Streaming上体现的优势不足 总结 转载:实时处理与流处理 http://blog.csdn.net/dc_726/article/details/41143225 要说实时处理就得先提一下实时系统(Real-timeSystem)。所谓实时系统就是能在严格的时间限制内响应请转载 2015-04-13 17:03:04 · 1515 阅读 · 0 评论 -
Spark Streaming 理解一
概念 spark Streaming :构建在Spark上处理Stream数据的框架,其基于实时数据流的数据处理(streaming data processing),通常的时间跨度在数百毫秒到数秒之间。 ,基本的原理是将Stream数据分成小的时间片断(几秒),以类似batch批量处理的方式来处理这小部分数据。Spark Streaming构建在Spark上,一方面是因为Spark的低延迟执行引原创 2015-04-13 11:47:24 · 794 阅读 · 0 评论