- 博客(3)
- 资源 (1)
- 收藏
- 关注
转载 Spark Streaming编程讲解
问题导读: 1.什么是Spark Streaming? 2.Spark Streaming可以接受那些数据源? 3.Dstream,我们可以进行哪两种操作? 参考:Spark:一个高效的分布式计算系统 在看spark Streaming,我们需要首先知道什么是Spark streaming? Spark streaming: 构建在Spark上处理Stream数据的
2015-12-28 15:52:01 956
转载 Spark Streaming实例分析
问题导读: Example代码分析实例完成了什么功能? StreamingContext启动,都启动了什么功能? DStreamGraph是怎么生成的jobs? 这一章要讲Spark Streaming,讲之前首先回顾下它的用法,具体用法请参照《Spark Streaming编程讲解 》。 Example代码分析 val ssc = new
2015-12-28 15:50:07 727
转载 Spark Streaming实时计算框架介绍
随着大数据的发展,人们对大数据的处理要求也越来越高,原有的批处理框架MapReduce适合离线计算,却无法满足实时性要求较高的业务,如实时推荐、用户行为分析等。 Spark Streaming是建立在Spark上的实时计算框架,通过它提供的丰富的API、基于内存的高速执行引擎,用户可以结合流式、批处理和交互试查询应用。本文将详细介绍Spark Streaming实时计算框架的原理与特点、适用场景。
2015-12-28 15:06:49 420
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人