STORM入门之（集成KafkaSpout）

最新推荐文章于 2021-12-19 22:45:08 发布
最新推荐文章于 2021-12-19 22:45:08 发布
阅读量2.2k 收藏
点赞数 1
分类专栏： [老达笔记]Storm [老达笔记]Kafka Storm基础应用 KAFKA消息中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yl3395017/article/details/77477716
版权

此篇基于原有两篇文章基础上扩展

STORM入门之（集成KafkaBolt） 传送门：http://blog.csdn.net/yl3395017/article/details/77452604

KafkaSpout更新

主要是构建KafkaSpout基本配置操作 

/**
     * 构建KafkaSpout
     */
    private static void builtKafkaSpout(TopologyBuilder builder) {
        try {
            BrokerHosts brokerHosts = new ZkHosts("10.2.4.12:2181,10.2.4.13:2181,10.2.4.14:2181");
            SpoutConfig spoutConf = new SpoutConfig(brokerHosts, "test_rce_yjd", "/storm/data/2016122615", "logFramework");
            spoutConf.scheme = new SchemeAsMultiScheme(new StringScheme());
            spoutConf.zkPort = 2181;
            spoutConf.ignoreZkOffsets = false; // 每次消费都从头开始，用于性能测试
            List<String> servers = new ArrayList<String>();
            String ZK_SERVERS = "10.2.4.12,10.2.4.13,10.2.4.14";
            if (ZK_SERVERS != null) {
                String[] arr = ZK_SERVERS.split(",");
                for (int i = 0; i < arr.length; i++) {
                    if (!("".equals(arr[i]))) {
                        servers.add(arr[i]);
                    }
                }
            }
            spoutConf.zkServers = servers;
            builder.setSpout("kafka-spout", new KafkaSpout(spoutConf),1);
        } catch (Exception e) {

        }
    }


Topology更新

构建Spout 
package com.storm.topology;
import com.storm.bolt.BoltA;
import com.storm.bolt.KafkaMsgBolt;
import com.storm.spout.SpoutA;
import org.apache.storm.Config;
import org.apache.storm.LocalCluster;
import org.apache.storm.StormSubmitter;
import org.apache.storm.generated.AlreadyAliveException;
import org.apache.storm.generated.AuthorizationException;
import org.apache.storm.generated.InvalidTopologyException;
import org.apache.storm.kafka.*;
import org.apache.storm.kafka.bolt.KafkaBolt;
import org.apache.storm.kafka.bolt.mapper.FieldNameBasedTupleToKafkaMapper;
import org.apache.storm.kafka.bolt.selector.DefaultTopicSelector;
import org.apache.storm.spout.SchemeAsMultiScheme;
import org.apache.storm.topology.TopologyBuilder;
import org.apache.storm.utils.Utils;
import java.util.ArrayList;
import java.util.List;
import java.util.Properties;

/**
 * Created with IntelliJ IDEA.
 * User: Administrator
 * Date: 17-8-21
 * Time: 上午10:54
 * To change this template use File | Settings | File Templates.
 */
public class Topology {

    public static boolean  kafka = true;

    public static void main(String args[]) throws AuthorizationException, AlreadyAliveException, InvalidTopologyException {
        TopologyBuilder builder = new TopologyBuilder();

        if(kafka){
            //KafkaSpout
            builtKafkaSpout(builder);
            builder.setBolt("BoltA",new BoltA(),1).shuffleGrouping("kafka-spout");
        }else{
            //普通Spout
            builder.setSpout("SpoutA",new SpoutA(),1);
            builder.setBolt("BoltA",new BoltA(),1).shuffleGrouping("SpoutA");
            //构建KafkaBolt
            builtKafkaBolt(builder);
        }



        Config conf = new Config();
        conf.setDebug(true);

        if (args != null && args.length > 0) {
            conf.setNumWorkers(3);
            StormSubmitter.submitTopologyWithProgressBar(args[0], conf, builder.createTopology());
        }
        else {
            LocalCluster cluster = new LocalCluster();
            cluster.submitTopology("soc", conf, builder.createTopology());
        }
    }

整体代码

package com.storm.topology;
import com.storm.bolt.BoltA;
import com.storm.bolt.KafkaMsgBolt;
import com.storm.spout.SpoutA;
import org.apache.storm.Config;
import org.apache.storm.LocalCluster;
import org.apache.storm.StormSubmitter;
import org.apache.storm.generated.AlreadyAliveException;
import org.apache.storm.generated.AuthorizationException;
import org.apache.storm.generated.InvalidTopologyException;
import org.apache.storm.kafka.*;
import org.apache.storm.kafka.bolt.KafkaBolt;
import org.apache.storm.kafka.bolt.mapper.FieldNameBasedTupleToKafkaMapper;
import org.apache.storm.kafka.bolt.selector.DefaultTopicSelector;
import org.apache.storm.spout.SchemeAsMultiScheme;
import org.apache.storm.topology.TopologyBuilder;
import org.apache.storm.utils.Utils;
import java.util.ArrayList;
import java.util.List;
import java.util.Properties;

/**
 * Created with IntelliJ IDEA.
 * User: Administrator
 * Date: 17-8-21
 * Time: 上午10:54
 * To change this template use File | Settings | File Templates.
 */
public class Topology {

    public static boolean  kafka = true;

    public static void main(String args[]) throws AuthorizationException, AlreadyAliveException, InvalidTopologyException {
        TopologyBuilder builder = new TopologyBuilder();

        if(kafka){
            //KafkaSpout
            builtKafkaSpout(builder);
            builder.setBolt("BoltA",new BoltA(),1).shuffleGrouping("kafka-spout");
        }else{
            //普通Spout
            builder.setSpout("SpoutA",new SpoutA(),1);
            builder.setBolt("BoltA",new BoltA(),1).shuffleGrouping("SpoutA");
            //构建KafkaBolt
            builtKafkaBolt(builder);
        }



        Config conf = new Config();
        conf.setDebug(true);

        if (args != null && args.length > 0) {
            conf.setNumWorkers(3);
            StormSubmitter.submitTopologyWithProgressBar(args[0], conf, builder.createTopology());
        }
        else {
            LocalCluster cluster = new LocalCluster();
            cluster.submitTopology("soc", conf, builder.createTopology());
//            Utils.sleep(20000);
//            cluster.killTopology("soc");
//            cluster.shutdown();
        }
    }

    /**
     * 构建KafkaBolt
     * metadata.broker.list=10.2.4.13:9092,10.2.4.14:9092,10.2.4.12:9092
     * bootstrap.servers=10.2.4.13:9092,10.2.4.14:9092,10.2.4.12:9092
     * producer.type=async
     * request.required.ack=1
     * serializer.class=kafka.serializer.StringEncoder
     * key.serializer=org.apache.kafka.common.serialization.StringSerializer
     * value.serializer=org.apache.kafka.common.serialization.StringSerializer
     * sendtopic=test
     */
    private static void builtKafkaBolt(TopologyBuilder builder){
        //kafka producer config
        Properties prop = new Properties();
        prop.put("metadata.broker.list", "10.2.4.13:9092,10.2.4.14:9092,10.2.4.12:9092");
        prop.put("bootstrap.servers", "10.2.4.13:9092,10.2.4.14:9092,10.2.4.12:9092");
        prop.put("producer.type","async");
        prop.put("request.required.acks","1");
        prop.put("serializer.class", "kafka.serializer.StringEncoder");
        prop.put("key.serializer","org.apache.kafka.common.serialization.StringSerializer");
        prop.put("value.serializer","org.apache.kafka.common.serialization.StringSerializer");
        //kafkaBolt
        KafkaBolt bolt = new KafkaBolt();
        bolt.withTopicSelector(new DefaultTopicSelector("test_rce_yjd"));
        bolt.withProducerProperties(prop);
        bolt.withTupleToKafkaMapper(new FieldNameBasedTupleToKafkaMapper());
        //构建KafkaBolt
        builder.setBolt("msgSentenceBolt", new KafkaMsgBolt()).shuffleGrouping("BoltA");
        //转发kafka消息
        builder.setBolt("forwardToKafka", bolt).shuffleGrouping("msgSentenceBolt");

    }

    /**
     * 构建KafkaSpout
     */
    private static void builtKafkaSpout(TopologyBuilder builder) {
        try {
            BrokerHosts brokerHosts = new ZkHosts("10.2.4.12:2181,10.2.4.13:2181,10.2.4.14:2181");
            SpoutConfig spoutConf = new SpoutConfig(brokerHosts, "test_rce_yjd", "/storm/data/2016122615", "logFramework");
            spoutConf.scheme = new SchemeAsMultiScheme(new StringScheme());
            spoutConf.zkPort = 2181;
            spoutConf.ignoreZkOffsets = false; // 每次消费都从头开始，用于性能测试
            List<String> servers = new ArrayList<String>();
            String ZK_SERVERS = "10.2.4.12,10.2.4.13,10.2.4.14";
            if (ZK_SERVERS != null) {
                String[] arr = ZK_SERVERS.split(",");
                for (int i = 0; i < arr.length; i++) {
                    if (!("".equals(arr[i]))) {
                        servers.add(arr[i]);
                    }
                }
            }
            spoutConf.zkServers = servers;
            builder.setSpout("kafka-spout", new KafkaSpout(spoutConf),1);
        } catch (Exception e) {

        }
    }
}

结果


Ginoy
关注
专栏目录
Storm Spout原理与代码实例讲解
程序员光剑
07-28 128
Storm Spout原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 随着大数据时代的到来，实时处理
【微服务】springboot整合kafka-stream使用详解
最新发布
congge
12-24 9969
kafka stream使用详解
storm的kafkaSpout实例
热门推荐
剪刀手麦小孩的全端之路
04-25 1万+
单节点kafkaSpout实例
Storm入门
weixin_30338481的博客
09-14 161
Storm框架入门 1 Topology构成 和同样是计算框架的Mapreduce相比，Mapreduce集群上运行的是Job，而Storm集群上运行的是Topology。但是Job在运行结束之后会自行结束，Topology却只能被手动的kill掉，否则会一直运行下去。 Storm集群中有两种节点，一种是控制节点(Nimbus节点)，另一种是工作节点(Supervisor节点)...
KafkaSpout 浅析
weixin_30449239的博客
01-22 360
最近在使用storm做一个实时计算的项目,Spout需要从 KAFKA 集群中读取数据，为了提高开发效率，直接使用了Storm提供的KAFKA插件。今天抽空看了一下KafkaSpout的源码，记录下心得体会。 KafkaSpout基于kafka.javaapi.consumer.SimpleConsumer实现了consumer客户端的功能，包括 partition的分...
Apache Storm中KafkaSpout使用
u014533807的专栏
12-19 1666
storm整合kafka
解析storm的KafkaSpout
FengYeDeYanLei的博客
09-09 7690
kafkaspout源码解析
Storm（七）Storm Kafka集成
人是有思想的芦苇
10-09 5428
集成storm与kafka
kafka与storm集成
chengxuxiaobai1108的博客
02-07 1286
====什么是storm Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。 这是管理队列及工作者集群的另一种方式。Storm也可被用于“连续计算”（continuous computation）， 对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。 Storm可以方便地在一个...
spring cloud+springboot分布式微服务-kafka和storm
weixin_45821812的博客
01-16 768
为什么使用SpringBoot整合kafka和storm 一般而言，使用kafka整合storm可以应付大多数需求。但是在扩展性上来说，可能就不太好。目前主流的微服务框架SpringCloud是基于SpringBoot的，所以使用SpringBoot对kafka和storm进行整合，可以进行统一配置，扩展性会更好。了解springcloud架构可以加求求：三五三六二四七二五九 使用SpringBo...
storm安装与kafka整合
superWe的博客
04-14 4331
1.storm是什么 1.1storm的介绍 storm是twitter公司开源贡献给apache的一款实时流式处理的一个开源软件，主要用于解决数据的实时计算以及实时的处理等方面的问题 1.2storm的特点 Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。Storm有很多使用场景：如实时分析，在线机器学习，持续计算，分布式RPC，ETL等等。St...
kstorm:示例代码展示了如何在 Storm 0.9.3 中使用 Kafka Spout
07-04
概述 这是一个示例存储库，展示了如何设置 Java 项目以使用KafkaSpout ，它现在是 Storm 0.9.3 版的一部分。 在撰写本文时在线的其他示例要么是错误的（过时的），要么展示了如何在本地模式下使用 KafkaSpout 但不是针对单独的 Kafka 系统的“集群模式”，或者令人困惑，因为它们添加了许多多余的东西（和在 Scala 中做例子）。 这个例子是在“做最简单的事情，可以工作”的脉络。 正确设置 pom 以便 Storm 和 Kafka 之间不兼容的日志库不会在头脑中拍摄拓扑是最困难的部分（我生命中失去了一天的时间来解决这个问题）。 所以这可能是最脆弱的部分 - 它可能会在其他系统和其他版本（过去或未来）上损坏。 这些拓扑是基于 P. Taylor Goetz 的一书的第 1 章的基本字数拓扑。 有两个版本： 一个使用内存中的SentenceSpout （取
超级简单入门的strom的java代码demo
01-12
【描述】中的信息表明，此压缩包包含了一个可以直接在Eclipse集成开发环境中运行的Storm项目。这意味着项目已经配置好了所有必要的依赖和设置，用户只需要将它导入Eclipse，就能运行和学习。参考链接是一个博客文章...
Apache Storm入门指南：概念与架构解析
Apache Storm简介 ## 1.1 什么是Apache Storm Apache Storm是一个分布式实时计算系统，可用于处理大规模的流式数据。它的设计目标是实现高效、可靠、容错的实时数据流处理，并且具有可扩展性和高性能。 ## 1.2 ...
（五）storm-kafka源码走读之KafkaSpout
iTer的专栏
11-08 4791
详细分析了KafkaSpout的一些代码，希望能够帮助一下人，同时也是自己看代码的一个总结。
storm-kafka源码走读之KafkaSpout
ankan7400的博客
12-07 131
from: http://blog.csdn.net/wzhg0508/article/details/40903919 （五）storm-kafka源码走读之KafkaSpout 原创2014年11月08日 14:09:06 标签： Storm/ kafka/ 大数据/ 实时计算 3458 现在开始介绍KafkaSpout源码了。 ...
Storm-Kafka源代码解析
ransom的博客
01-11 7693
Storm-Kafka源代码解析说明：本文所有代码基于Storm 0.10版本，本文描述内容只涉及KafkaSpout和KafkaBolt相关，不包含trident特性。Kafka SpoutKafkaSpout的构造函数如下：public KafkaSpout(SpoutConfig spoutConf) { _spoutConfig = spoutConf; }其构造参数来自于Spou
storm-KafkaSpuout源码分析
哈哈哈哈哈哈哈
11-26 750
一、属性 //org.apache.storm.spout.SpoutOutputCollector protected SpoutOutputCollector collector; //org.apache.storm.kafka.spout.KafkaSpoutConfig private final KafkaSpoutConfig&amp;lt;K, V&amp;gt; kafkaSpoutConfi...
Storm集成Kafka中KafkaSpout配置参数释义
Simon的博客
04-26 7597
Storm集成Kafka中KafkaSpout配置参数释义 KafkaSpout构造： 涉及到两个类：       SpoutConifg、KafkaConfig、ZkHosts 一、       SpoutConfig: zkServers: KafkaSpout保存offset的zookeeper所在地址. 立出来这个属性是为了防止offset保存位置不在kafka集群中....
Storm电商实战：Kafka入门与集群搭建
"Storm流计算项目：1号店电商实时数据分析系统-05.Kafka基础知识和集群搭建"是一门针对IT专业人士的实战课程，该课程涵盖了Apache Storm在实时数据分析中的应用，特别是与Apache Kafka的集成。Apache Storm是一个...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值