一起来看「暴风雨」

最新推荐文章于 2024-10-31 16:17:19 发布

海文思密达

最新推荐文章于 2024-10-31 16:17:19 发布

阅读量563

点赞数

分类专栏：大数据文章标签：大数据 storm

本文链接：https://blog.csdn.net/miaoxiongvip/article/details/106322087

版权

大数据专栏收录该内容

1 篇文章 0 订阅

订阅专栏

storm ：暴风雨

免费开源实时流计算系统

storm是一个分布式的，可靠的，容错的数据流处理系统。

暴风雨的世界

应用实例：计算数字之和，1+2+3+....+n

思路：一个spout输出数字，一个bolt求和

环境准备

jdk1.7以上的oracle jdk

idea

maven3.x

zookeeper

添加依赖

<!-- https://mvnrepository.com/artifact/org.apache.storm/storm-core -->
<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-core</artifactId>
    <version>2.1.0</version>
    <scope>${provided.scope}</scope>
</dependency>

创建maven Java项目

https://github.com/apache/storm/blob/v2.1.0/examples/storm-starter/pom.xml

https://github.com/apache/storm/blob/v2.1.0/DEVELOPER.md

http://storm.apache.org/releases/2.1.0/Maven.html

代码

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.gavin</groupId>
    <artifactId>storm_demo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <!--<dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-core</artifactId>
            <version>1.2.3</version>
            <scope>provided</scope>
        </dependency>-->
        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-client</artifactId>
            <version>2.1.0</version>
            <scope>provided</scope>
        </dependency>
<!--        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-starter</artifactId>
            <version>2.1.0</version>
        </dependency>-->
        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-core</artifactId>
            <version>2.1.0</version>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.8.1</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

创建Topology

package com.gavn;/**
 * Created by Administrator on 2020\5\24 0024.
 */

import org.apache.storm.Config;
import org.apache.storm.ILocalCluster;
import org.apache.storm.LocalCluster;
import org.apache.storm.spout.SpoutOutputCollector;
import org.apache.storm.task.OutputCollector;
import org.apache.storm.task.TopologyContext;
import org.apache.storm.thrift.TException;
import org.apache.storm.topology.OutputFieldsDeclarer;
import org.apache.storm.topology.TopologyBuilder;
import org.apache.storm.topology.base.BaseRichBolt;
import org.apache.storm.topology.base.BaseRichSpout;
import org.apache.storm.tuple.Fields;
import org.apache.storm.tuple.Tuple;
import org.apache.storm.tuple.Values;
import org.apache.storm.utils.Utils;

import java.util.Map;

/**
 * @Author : 小小小海文
 * @CreatDate :2020\5\24 0024
 * @Description :
 */
public class LocalSumStormTopology {
    public static class DatasourceSpout extends BaseRichSpout {
        private SpoutOutputCollector spoutOutputCollector;
        /**
         * 初始化
         * 只执行一次
         * @param conf
         * @param context
         * @param collector 发射器
         */
        public void open(Map<String, Object> conf, TopologyContext context, SpoutOutputCollector collector) {
            this.spoutOutputCollector = collector;
        }
        private int num = 0;
        /**
         * 死循环，一直执行
         */
        public void nextTuple() {
            this.spoutOutputCollector.emit(new Values(num++));
            Utils.sleep(1000);
        }

        /**
         * 定义输出字段名字
         * @param declarer
         */
        public void declareOutputFields(OutputFieldsDeclarer declarer) {
            declarer.declare(new Fields("num"));
        }
    }

    public static class SumSpot extends BaseRichBolt{
        /**
         * 初始化
         * @param topoConf
         * @param context
         * @param collector 发射器
         */
        public void prepare(Map<String, Object> topoConf, TopologyContext context, OutputCollector collector) {

        }
        int sum = 0;
        /**
         * 死循环，一直执行
         * @param input
         */
        public void execute(Tuple input) {
            Integer num = input.getIntegerByField("num");
            sum += num;
        }

        public void declareOutputFields(OutputFieldsDeclarer declarer) {

        }
    }

    public static void main(String[] args) {
        TopologyBuilder builder = new TopologyBuilder();
        builder.setSpout("DataSourceSpout",new DatasourceSpout());
        builder.setBolt("SumBolt",new SumSpot()).shuffleGrouping("DataSourceSpout");
        try (LocalCluster cluster = new LocalCluster()) {
            //Interact with the cluster...
                cluster.submitTopology("",new Config(),builder.createTopology());
        } catch (TException e) {
            e.printStackTrace();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

}