流式计算--整合kafka+flume+storm

最新推荐文章于 2022-06-02 16:10:29 发布

时空恋旅人

最新推荐文章于 2022-06-02 16:10:29 发布

阅读量522

点赞数

分类专栏：流式计算大数据

本文链接：https://blog.csdn.net/weixin_37650458/article/details/84201402

版权

大数据同时被 2 个专栏收录

12 篇文章 1 订阅

订阅专栏

流式计算

7 篇文章 1 订阅

订阅专栏

本篇博客基于之前搭建的kafka集群和storm集群

1.数据流向

日志系统=>flume=>kafka=>storm

2.安装flume

1.我们在storm01上安装flume1.6.0,上传安装包

2.解压到 /export/servers/flume，首先创建文件夹flume

命令： sudo tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /export/servers/flume/

3.配置采集文件，在conf目录下创建一个myconf文件夹

4.继续在myconf文件夹下创建配置文件

配置文件的内容：主要是监听日志文件

agent.sinks = k1
agent.sources = s1
agent.sources = s1                         
agent.channels = c1
agent.sinks = k1      
agent.sources.s1.type=exec        
agent.sources.s1.command=tail -F /export/data/flume_source/click_log/1.log
agent.sources.s1.channels=c1
agent.channels.c1.type=memory
agent.channels.c1.capacity=10000
agent.channels.c1.transactionCapacity=100
#设置Kafka接收器
agent.sinks.k1.type= org.apache.flume.sink.kafka.KafkaSink
#设置Kafka的broker地址和端口
agent.sinks.k1.brokerList=kafka01:9092
#设置Kafka的Topic
agent.sinks.k1.topic=orderMq
#设置序列化方式
agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder
agent.sinks.k1.channel=c1

准备监听的目录：
/export/data/flume_source/click_log

5.启动命令：

bin/flume-ng agent -n agent  -c ./conf -f ./conf/myconf/exec.conf -Dflume.root.logger=INFO,console

6. 测试数据从flume到kafka是否正确：

Kafka的shell消费：
bin/kafka-console-consumer.sh --zookeeper zk01:2181 --from-beginning --topic orderMq 不从开始消费而是从最大开始消费：

编写模拟生产日志数据的脚本文件：

vi click_log_out.sh

for((i=0;i<50000;i++));
do echo "message-"+$i >>/export/data/flume_source/click_log/1.log;
done

Sudo chmod u+x click_log_out.sh

执行脚本：sh click_log_out.sh 另外一边的customer就在开始采集数据了:

说明数据从flume到kafka是没有问题的

3.数据从kafka到Storm

新建maven工程：添加依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.wx</groupId>
    <artifactId>stormkafka</artifactId>
    <version>1.0-SNAPSHOT</version>
    <dependencies>
        <!--storm的以来包-->
        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-core</artifactId>
            <version>0.9.5</version>
            <!--<scope>provided</scope>-->
        </dependency>
        <!--KafkaSpout的依赖包，这个就可以把kafka的数据流到storm-->
        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-kafka</artifactId>
            <version>0.9.5</version>
           <!-- <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-api</artifactId>
                </exclusion>
            </exclusions>-->
        </dependency>

        <dependency>
            <groupId>org.clojure</groupId>
            <artifactId>clojure</artifactId>
            <version>1.5.1</version>
        </dependency>
        <!--kafka的依赖包-->
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.8.2</artifactId>
            <version>0.8.1</version>
            <exclusions>
                <exclusion>
                    <artifactId>jmxtools</artifactId>
                    <groupId>com.sun.jdmk</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jmxri</artifactId>
                    <groupId>com.sun.jmx</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jms</artifactId>
                    <groupId>javax.jms</groupId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.zookeeper</groupId>
                    <artifactId>zookeeper</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-api</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
       <!-- <dependency>
            <groupId>com.google.code.gson</groupId>
            <artifactId>gson</artifactId>
            <version>2.4</version>
        </dependency>
        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>2.7.3</version>
        </dependency>-->
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <!--打包的时候把项目其他依赖的一些jar,一些类打成一个整体-->
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <mainClass>cn.itcast.bigdata.hadoop.mapreduce.wordcount.WordCount</mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>1.7</source>
                    <target>1.7</target>
                </configuration>
            </plugin>
        </plugins>
    </build>


</project>

编写一个topology:

package com.wx.kafkaandstorm;
import backtype.storm.Config;
import backtype.storm.LocalCluster;
import backtype.storm.StormSubmitter;
import backtype.storm.topology.TopologyBuilder;
import storm.kafka.KafkaSpout;
import storm.kafka.SpoutConfig;
import storm.kafka.ZkHosts;

public class KafkaAndStormTopologyMain {
    public static void main(String[] args) throws Exception{
        TopologyBuilder topologyBuilder = new TopologyBuilder();
        topologyBuilder.setSpout("kafkaSpout",
                new KafkaSpout(new SpoutConfig(
                        new ZkHosts("192.168.25.130:2181,192.168.25.131:2181,192.168.25.132:2181"),
                        "orderMq",
                        "/myKafka",
                        "kafkaSpout")),1);
        topologyBuilder.setBolt("mybolt1",new ParserOrderMqBolt(),1).shuffleGrouping("kafkaSpout");

        Config config = new Config();
        config.setNumWorkers(1);

        //3、提交任务  -----两种模式 本地模式和集群模式
        if (args.length>0) {
            StormSubmitter.submitTopology(args[0], config, topologyBuilder.createTopology());
        }else {
            LocalCluster localCluster = new LocalCluster();
            localCluster.submitTopology("storm2kafka", config, topologyBuilder.createTopology());
        }

    }
}

编写一个Bolt接收来自kafka的数据

package com.wx.kafkaandstorm;

import backtype.storm.task.OutputCollector;
import backtype.storm.task.TopologyContext;
import backtype.storm.topology.OutputFieldsDeclarer;
import backtype.storm.topology.base.BaseRichBolt;
import backtype.storm.tuple.Tuple;

import java.util.Map;

public class ParserOrderMqBolt extends BaseRichBolt {
    @Override
    public void prepare(Map map, TopologyContext topologyContext, OutputCollector outputCollector) {

    }
    @Override
    public void execute(Tuple tuple) {
      Object o=tuple.getValue(0);
      System.out.printf(new String((byte[]) tuple.getValue(0))+"\n\t");
    }

    @Override
    public void declareOutputFields(OutputFieldsDeclarer outputFieldsDeclarer) {

    }
}

启动：

4.联合测试：

启动日志生产脚本：

kafka可以消费到数据：

数据也可以从kafka流到storm:

本地运行没有问题，但是把他打包上传到集群上去跑就出现问题了，报了个错：backtype.storm.topology.IRichSpout

这个错表示要么少包要么包冲突，本地能运行成功，应该不可能少包，应该是包冲突，到底是哪个包冲突了呢？集群的storm版本是1.0.6而本地运行的storm jar的版本是0.9.5，所以果断把本地的storm包换成1.0.6版本的，但是还是运行不成功，原因是clojure包的版本太低，storm1.0以上的需要clojure包的版本是1.7，所以改变包的版本，本地测试能通过，集群测试也能通过

贴出最终pom文件：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.wx</groupId>
    <artifactId>stormkafka</artifactId>
    <version>1.0-SNAPSHOT</version>
    <dependencies>
              <!--storm的以来包-->
        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-core</artifactId>
            <version>1.0.6</version>
            <scope>provided</scope>
        </dependency>
        <!--KafkaSpout的依赖包，这个就可以把kafka的数据流到storm-->
        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-kafka</artifactId>
            <version>1.0.6</version>
           <!-- <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-api</artifactId>
                </exclusion>
            </exclusions>-->
        </dependency>

        <dependency>
            <groupId>org.clojure</groupId>
            <artifactId>clojure</artifactId>
            <version>1.7.0</version>
        </dependency>
        <!--kafka的依赖包-->
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.8.2</artifactId>
            <version>0.8.1</version>
            <exclusions>
                <exclusion>
                    <artifactId>jmxtools</artifactId>
                    <groupId>com.sun.jdmk</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jmxri</artifactId>
                    <groupId>com.sun.jmx</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jms</artifactId>
                    <groupId>javax.jms</groupId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.zookeeper</groupId>
                    <artifactId>zookeeper</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-api</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
       <!-- <dependency>
            <groupId>com.google.code.gson</groupId>
            <artifactId>gson</artifactId>
            <version>2.4</version>
        </dependency>
        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>2.7.3</version>
        </dependency>-->
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <!--打包的时候把项目其他依赖的一些jar,一些类打成一个整体-->
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <mainClass>com.wx.kafkaandstorm.KafkaAndStormTopologyMain</mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>1.7</source>
                    <target>1.7</target>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

打包上传运行：

启动生产数据的脚本：

时空恋旅人

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
流式计算--整合kafka+flume+storm

本篇博客基于之前搭建的kafka集群和storm集群1.数据流向日志系统=&gt;flume=&gt;kafka=&gt;storm 2.安装flume 1.我们在storm01上安装flume1.6.0,上传安装包 2.解压到 /export/servers/flume，首先创建文件夹flume 命令： sudo tar...
复制链接

扫一扫