Storm保证机制的测试

最新推荐文章于 2018-10-21 12:16:32 发布

lxs_only

最新推荐文章于 2018-10-21 12:16:32 发布

阅读量180

点赞数

分类专栏： Storm

本文为博主原创文章，未经博主允许不得转载，转载请标明原文出处。

本文链接：https://blog.csdn.net/qq_31408331/article/details/79951182

版权

本文通过MessageTopology的实现，展示了Storm如何确保消息处理的可靠性。当数据在处理过程中失败时，Storm会重新执行失败的任务，以此保障数据不丢失。

摘要由CSDN通过智能技术生成

public class MessageTopology {
	public static void main(String[] args) throws Exception {
		//声明节点
		MessageSpout messageSpout = new MessageSpout();

		SpliterBolt splitBolt = new SpliterBolt();
		
		PrintBolt printBolt = new PrintBolt();
		
		//构建拓扑
		TopologyBuilder builder = new TopologyBuilder();
		builder.setSpout("spout_id", messageSpout);
		builder.setBolt("splitBolt_id", splitBolt,1).shuffleGrouping("spout_id");
		builder.setBolt("printBolt_id", printBolt,1).shuffleGrouping("splitBolt_id");
		
		Config cfg =new Config();
		cfg.setDebug(true);
		cfg.setNumWorkers(2);
		
		LocalCluster cluster = new LocalCluster();
		cluster.submitTopology("topo1", cfg, builder.createTopology());
		
		Thread.sleep(20000);
		
		cluster.shutdown();
	}
}

MessageTopology类主要做的事情：
1. 声明数据来源 MessageSpout, 声明字符拆分处理 SpliterBolt, 声明字符持久化处理 printBolt
2. 按 spout --> splitBolt ---> printBolt 顺序构建拓扑

3. 本地提交执行拓扑

public class MessageSpout extends BaseRichSpout{
	private static final long serialVersionUID = 1L;
	private SpoutOutputCollector conllector;
	private boolean flag = false;
	private String[] subjec