Storm
文章平均质量分 71
lzm1340458776
这个作者很懒,什么都没留下…
展开
-
Storm 可靠的与不可靠的消息
设计拓扑时,一件很重要的事情就是要考虑消息的可靠性。如果消息不能被处理而丢失是很严重的问题,我们需要决定如何处理丢失的消息,如何与拓扑作为一个整体处理。例如,处理银行存款的时候,事物一致性是很重要的,不能失去任何消息,任何消息都要被处理。在Storm中,根据每个拓扑的需要,保证消息可靠性,这涉及一个平衡:一个可靠的拓扑必须处理丢失的消息,这就需要更多的资源;一个不可靠的拓扑可能会丢失一些消息,但不原创 2015-04-26 16:17:52 · 1894 阅读 · 0 评论 -
Unable to read additional data from client sessionid 0x0, likely client has closed socket
问题:Unable to read additional data from client sessionid 0x0, likely client has closed socket[2014-11-13 10:28:47,989] INFO Accepted socket connection from /192.168.50.33:2676 (org.apache.zookeep原创 2015-05-08 10:57:31 · 44767 阅读 · 4 评论 -
Storm集群搭建
一:实验环境jzmq-master——java与C++通信的桥梁,有了它,就可以使用zeromq了。zeromq-2.7.1——号称史上最牛逼的消息队列storm-0.8.2二:安装步骤1.编译安装zeromq,把zeromq-2.1.7.tar.gz上传到Linux系统,执行以下命令:#tar -xzf zeromq-2.1.7.tar.gz#cd zeromq原创 2015-04-16 16:53:17 · 1157 阅读 · 0 评论 -
Storm实时日志分析实战
项目背景最近公司做一个项目,用户需要对网站访问者的广告点击/浏览记录进行实时统计分析,分析结果存入数据库,输出报表。我们采用了Kafka+Storm+Zookeeper的解决方案。之前没有接触过,经过一段时间的研究,最终完成了项目。接下来的内容我将介绍我们的解决方案。供大家参考。我们的系统结构如下:总体结构介绍业务系统把点击/浏览广告业务日志统一按规定的格式发送到Kafka集群转载 2015-04-29 19:11:43 · 7673 阅读 · 0 评论 -
Address family not supported by protocol family: connect
问题:Address family not supported by protocol family: connect15/05/09 10:44:22 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=localhost:2000/storm sessionTimeout=20000 watch原创 2015-05-09 10:51:16 · 7353 阅读 · 0 评论 -
Kafka背景及架构介绍
概述Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。背景介绍Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeli转载 2015-04-27 16:16:30 · 1172 阅读 · 0 评论 -
joptsimple.UnrecognizedOptionException: 'broker-list120.24.66.173:9092' is not a recognized option
问题:Exception in thread "main" joptsimple.UnrecognizedOptionException: 'broker-list120.24.66.173:9092,120.24.169.139:9092,120.24.161.107:9092' is not a recognized optionException in thread "main" j原创 2015-05-08 10:51:20 · 14966 阅读 · 0 评论 -
Storm配置详解
Storm配置类型Storm有大量的配置,可以调整Nimbus、Supervisor、拓扑运行的参数,大部分是可以进行调节的,但是也有少部分配置是不能修改的系统配置。每个配置会有一个默认值,该值定义在Storm代码库的defaults.yaml文件中。在Nimbus和Supervisor的类路径中定义一个storm.yaml文件,可以覆盖这些配置值。使用StormSubmitter提交拓扑的时原创 2015-04-25 18:32:29 · 6241 阅读 · 0 评论 -
Storm容错机制
任务级失败1.Bolt任务crash引起的消息未被应答。此时,acker中所有与此Bolt任务关联的消息都会因为超时而失败,对应的Spout的fail方法将被调用。2.acker任务失败。如果acker任务本身失败了,它在失败之前持有的所有消息都将超时而失败。Spout的fail方法将被调用。3.Spout任务失败。在这种情况下,与Spout任务对接的外部设备(如MQ)负责消息的完整性原创 2015-04-25 19:47:18 · 3671 阅读 · 0 评论 -
Storm可靠的Bolt与不可靠的Bolt
Storm可以保证每个Spout发射的消息会被所有的Bolt完全处理。这是设计时要考虑的因素,这意味着程序员将决定Bolt是否需要保证消息处理。可靠Bolt的execute()方法如下:@Override public void execute(Tuple input) { String sentence = input.getString(0); for (String wor原创 2015-04-26 19:09:46 · 3420 阅读 · 0 评论 -
Storm命令详解
在Linux终端直接输入storm,不带任何参数信息,或者输入storm help,可以查看storm命令行客户端(Command line client)提供的帮助信息。Storm 0.9.0.1版本在Linux终端直接输入storm后的输出内容如下:Commands:activateclasspathdeactivatedev-zookeeperdrpchelpjarkil原创 2015-04-26 15:08:08 · 14140 阅读 · 0 评论 -
Storm并发度详解
工作进程(Worker Process)Worker是Spout/Bolt中运行具体处理逻辑的进程。拓扑跨一个或多个Worker进程执行。每个Worker进程是一个物理的JVM和拓扑执行所有任务的一个子集。例如,如果合并并行度的拓扑是300,已经分配50个Worker,然后每个Worker将执行6个任务,Storm会尝试在所有Worker上均匀的发布任务。执行器(Executor)原创 2015-04-26 10:15:41 · 4756 阅读 · 0 评论 -
Connection reset by peer
问题:ERROR Closing socket for /120.24.169.139 because of error (kafka.network.Processor) Connection reset by peer [2015-05-08 13:17:52,804] ERROR Closing socket for /120.24.169.139 because of e原创 2015-05-08 13:16:49 · 5331 阅读 · 1 评论