大数据入门（21）storm和kafka结合的实例

最新推荐文章于 2020-06-29 13:47:28 发布

沙漏无语

最新推荐文章于 2020-06-29 13:47:28 发布

阅读量718

点赞数

分类专栏：大数据入门

本文链接：https://blog.csdn.net/estelle_belle/article/details/83928871

版权

本文深入探讨大数据处理中Storm和Kafka的整合应用，通过具体实例介绍如何将实时数据流处理框架Storm与消息中间件Kafka结合，实现高效的数据传输和实时分析。了解关键配置和步骤，掌握大数据实时处理的核心技术。

摘要由CSDN通过智能技术生成

1、原理：
storm的lib下的jar, 
external\storm-kafka\storm-kafka-0.9.2-incubating.jar 此jar中的sqout已经写好

2、/********** KafkaTopoMain ：运行，在本地生成文件****************/
public class KafkaTopoMain {
	public static void main(String[] args) {
		
		BrokerHosts hosts = new ZkHosts("weekend05:2181,weekend06:2181,weekend07:2181");
		String topic = "order_name";
		String zkRoot="/kafka-storm";
		String spoutId = "KafkaSpoutId";
		
		SpoutConfig spoutConfig = new SpoutConfig(hosts, topic, zkRoot, spoutId);
		spoutConfig.forceFromStart = true;//设置从头开始
		spoutConfig.scheme = new SchemeAsMultiScheme(new MessageScheme());//反序列化，将byte专为String
		
		TopologyBuilder builder = new TopologyBuilder();
		builder.setSpout(spoutId, new KafkaSpout(spoutConfig));
		builder.setBolt("word_split", new WordSplitBolt(), 4).shuffleGrouping(spoutId); //文件分割
		builder.setBolt("write", new WordWrit