kafka+spark streaming 实时计算整合
关注
分享
扫一扫
小飞侠-2
我的github地址https://github.com/liujiekasini 欢迎大家分享讨论
展开
-
Kafka+Spark Streaming+Redis实时计算整合实践
基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像Spark Streaming、Spark SQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于Spark Streaming的实时计算。 我转载 2016-04-26 16:04:42 · 1922 阅读 · 0 评论 -
Spark（1.2.0） Streaming 集成 Kafka 总结 [复制链接]
最近在做利用Spark streaming和Kafka进行数据分析的研究， 整理一些相应的开发文档， 做了一些代码实践。 本文特意将这些资料记录下来。 本文最后列出了一些参考的文档，实际调研中参考了很多的资料，并没有完全将它们记录下来， 只列出了主要的一些参考资料。 当前的版本： Spark: 1.2.0 Kafka: 0.8.1.1 Spark Streaming属于转载 2016-04-26 16:58:09 · 840 阅读 · 0 评论