流处理
文章平均质量分 88
奔跑-起点
这个作者很懒,什么都没留下…
展开
-
STORM之ITridentSpout、FirstN(取Top N)实现、流合并和join
基于事务 static interface ITridentSpout.BatchCoordinator static interface ITridentSpout.Emitter 接口类的实现和之前事务ITransactionalSpout 非常类似。 Topo例子 topology.newDRPCStream("top", drpc) .ea原创 2017-03-01 14:01:27 · 1487 阅读 · 1 评论 -
SparkStreaming自定义Receiver
接触spark已经有一些时间了,线上跑的spark的版本是基于spark1.5的版本,一次业务需求,要上实时处理,一起我们也搭建过一套基于storm的实时处理平台,后来数据平台重新搭建之后,我们上了spark,因为在spark生态栈里已经包含了realtime的处理模块,再加上我们的业务对实时要求并不是特别高,鉴于系统的维护成本,我们在技术选型上决定上SparkStreaming来进行实时处理。原创 2017-03-08 14:33:59 · 1066 阅读 · 0 评论