【大数据】Storm
21989939
这个作者很懒,什么都没留下…
展开
-
Storm ack容错机制案例
参考: http://blog.csdn.net/suifeng3051/article/details/41682441 https://www.cnblogs.com/intsmaze/p/5918087.html http://www.aboutyun.com/thread-9526-1-1.html改写wordcount程序,实现splot ack、fail机制:/** * 参考自原创 2017-12-16 21:48:25 · 408 阅读 · 0 评论 -
storm集群搭建
storm集群搭建步骤 在3台虚拟机上部署strom集群,主机名分别为:mini1、mini2、mini3下载安装包 解压 修改配置文件 启动集群 1. 下载安装包 wget http://124.202.164.6/files/1139000006794ECA/apache.fayea.com/storm/apache-storm-0.9.5/apache-storm-0.9.5.tar原创 2017-12-16 16:59:22 · 319 阅读 · 0 评论 -
storm程序-单词统计wordcount
spout代码:public class MyLocalFileSpout extends BaseRichSpout { public static final String FILE_PATH = "/root/1.log"; // public static final String FILE_PATH = "D:\\1.log"; private SpoutOutput原创 2017-12-16 19:50:55 · 1773 阅读 · 0 评论 -
Storm ack容错机制案例
Ack机制: spout 发出一条数据后需要知道数据处理成功和失败的状态,如失败的消息重新发送。 1. 自定义spoout实现BeseRichSpout,重写ack、fai方法。 2. 在自定义的spout 发送数据的时候,需要制定messageid,messageid 是一个Object. 3. 当消息处理成功或者失败之后,Storm框架会将messageid传回来。如果消息要重发,直接通过m...原创 2017-12-20 21:47:45 · 1596 阅读 · 0 评论