kafka
靖-Drei
这个作者很懒,什么都没留下…
展开
-
storm-kafka数据读取问题
在storm的bolt中,接受kafka会出现数据读不到的问题: 控制台不报错,但是有如上的提示,提醒有Fetched 31 messages from:和 Added 31 messages from:,但是并未对数据进行处理和接受。产生的原因是这样的,下面分两种情况讨论: 1.bolt只接受一个spout: 如:builder.setSpout("readlog", new KafkaSpo原创 2015-08-24 17:01:18 · 3972 阅读 · 0 评论 -
storm传参,限流
storm通过kafka传入数据的时候,有时候会出现并发修改的问题(这很可能是有static变量造成的),界面会出现spout fail的状况,此时可以通过设置参数进行一部分数据的抛弃。 builder.setSpout("Data", new SpoutA(args[1]), 1);builder.setBolt("test", new BoltA(args[2]), 1).shuffleGro原创 2015-09-14 19:17:45 · 2011 阅读 · 0 评论 -
kafka建立节点
kafka建立datain节点 前提:zookeeper和kafka已开启 zookeeper下建立节点 zkCli.sh ls / create /datain 1 create /datain/id 1 kafka的bin目录下,建topic kafka-topics.sh --create --zookeeper localhost:2181 --replication-fact原创 2015-09-11 10:31:01 · 1520 阅读 · 0 评论 -
Storm 的流量控制和多线程并发处理
面临问题: storm多线程的时候,会遇到并发修改的问题,会报concurrentModificationException,如下图所示 解决方法: 第一种治标不治本的方法: 一方面,对发送到kafka的数据进行控制,将线程sleep的时间变长if(count==18000) { try { Threa原创 2015-09-11 10:16:36 · 3494 阅读 · 0 评论 -
storm-kafka数据流量问题
目标:每秒18000条数据能够通过storm挖掘处理完 问题:通过kafka完成,每秒只能处理5000条左右 1.通过增加bolt的处理线程数,并未发现UI上的每秒处理的速度变快 2.写文件,决定用直接读取文件的方式: kafka写了8min,最终写出了1180000条数据, 这说明了一个问题,8min只能产生1180000条数据,如何能在1s处理18000条数据。 3.即使这样,仍然采原创 2015-09-16 01:03:27 · 3165 阅读 · 2 评论