关闭

ibm streams处理kafka数据并放入到redis中去

标签: infoSphere Streamskafkaredis
593人阅读 评论(0) 收藏 举报
分类:

小第最近公司要求用ibm streams来做流式数据的处理(不知道为什么的,老板开心就好大笑),下面就把我用streams的一些经历写写吧

我是用spl + java混合编写的 据说下现在的版本4.1是可以用纯java写的 我们用的是4.0所以还是用了spl + java ,首先我spl入口 

stream<rstring message> KafkaStream = KafkaConsumer()

参数是topic 和propertiesFile等一些参数 

然后建立一个java operator KafkaConsumer 这个类实现了StateHandler这个接口

参数在java中通过@Parameter来接受的 

重写allPortsReady的方法,在这个方法类掉用  kafka获取数据什么的一些东西的

然后把kafka的返回数据放到OutputTuple 中submit,这样数据就可以在返回到spl中。

下面是redis的操作了,本来打算用streams的dps的,可是因为各种各种原因了,自己用java写的redis的function,虽然效果不是太好,但是勉强可以了。 @parallel(width=20)

20个并行线程处理的话处理是3万没秒左右吧,其实压力重要在redis端。



0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:844次
    • 积分:47
    • 等级:
    • 排名:千里之外
    • 原创:4篇
    • 转载:0篇
    • 译文:0篇
    • 评论:2条
    文章分类
    文章存档
    最新评论