ibm streams处理kafka数据并放入到redis中去

小第最近公司要求用ibm streams来做流式数据的处理(不知道为什么的,老板开心就好大笑),下面就把我用streams的一些经历写写吧

我是用spl + java混合编写的 据说下现在的版本4.1是可以用纯java写的 我们用的是4.0所以还是用了spl + java ,首先我spl入口 

stream<rstring message> KafkaStream = KafkaConsumer()

参数是topic 和propertiesFile等一些参数 

然后建立一个java operator KafkaConsumer 这个类实现了StateHandler这个接口

参数在java中通过@Parameter来接受的 

重写allPortsReady的方法,在这个方法类掉用  kafka获取数据什么的一些东西的

然后把kafka的返回数据放到OutputTuple 中submit,这样数据就可以在返回到spl中。

下面是redis的操作了,本来打算用streams的dps的,可是因为各种各种原因了,自己用java写的redis的function,虽然效果不是太好,但是勉强可以了。 @parallel(width=20)

20个并行线程处理的话处理是3万没秒左右吧,其实压力重要在redis端。



阅读更多
个人分类: 数据
上一篇mysql实现rownum
下一篇用script标签实现跨域
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭