Storm的本地开发和集群开发

最新推荐文章于 2021-07-02 10:34:48 发布
最新推荐文章于 2021-07-02 10:34:48 发布
阅读量405 收藏
点赞数 1
分类专栏： Storm 文章标签： Storm的代码开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43909426/article/details/86667449
版权

1.创建一个Maven项目

pom.xml文件

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.aura.bigdata</groupId>
  <artifactId>strom-study</artifactId>
  <version>1.0-SNAPSHOT</version>

  <name>strom-study</name>
  <!-- FIXME change it to the project's website -->
  <url>http://www.example.com</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.7</maven.compiler.source>
    <maven.compiler.target>1.7</maven.compiler.target>
  </properties>

  <dependencies>
    <!-- https://mvnrepository.com/artifact/org.apache.storm/storm-core -->
    <dependency>
      <groupId>org.apache.storm</groupId>
      <artifactId>storm-core</artifactId>
      <version>1.0.2</version>
    </dependency>

  </dependencies>

  <build>
    <pluginManagement><!-- lock down plugins versions to avoid using Maven defaults (may be moved to parent pom) -->
      <plugins>
        <!-- clean lifecycle, see https://maven.apache.org/ref/current/maven-core/lifecycles.html#clean_Lifecycle -->
        <plugin>
          <artifactId>maven-clean-plugin</artifactId>
          <version>3.1.0</version>
        </plugin>
        <!-- default lifecycle, jar packaging: see https://maven.apache.org/ref/current/maven-core/default-bindings.html#Plugin_bindings_for_jar_packaging -->
        <plugin>
          <artifactId>maven-resources-plugin</artifactId>
          <version>3.0.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-compiler-plugin</artifactId>
          <version>3.8.0</version>
        </plugin>
        <plugin>
          <artifactId>maven-surefire-plugin</artifactId>
          <version>2.22.1</version>
        </plugin>
        <plugin>
          <artifactId>maven-jar-plugin</artifactId>
          <version>3.0.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-install-plugin</artifactId>
          <version>2.5.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-deploy-plugin</artifactId>
          <version>2.8.2</version>
        </plugin>
        <!-- site lifecycle, see https://maven.apache.org/ref/current/maven-core/lifecycles.html#site_Lifecycle -->
        <plugin>
          <artifactId>maven-site-plugin</artifactId>
          <version>3.7.1</version>
        </plugin>
        <plugin>
          <artifactId>maven-project-info-reports-plugin</artifactId>
          <version>3.0.0</version>
        </plugin>
      </plugins>
    </pluginManagement>
  </build>
</project>

手动开发一个本地项目：

需求：模拟天猫双十一，实时订单总和统计过程

package com.aura.bigdata.strom.local;

import com.aura.bigdata.strom.util.MyStrom;
import org.apache.storm.Config;
import org.apache.storm.LocalCluster;
import org.apache.storm.generated.StormTopology;
import org.apache.storm.spout.SpoutOutputCollector;
import org.apache.storm.task.OutputCollector;
import org.apache.storm.task.TopologyContext;
import org.apache.storm.topology.OutputFieldsDeclarer;
import org.apache.storm.topology.TopologyBuilder;
import org.apache.storm.topology.base.BaseRichBolt;
import org.apache.storm.topology.base.BaseRichSpout;
import org.apache.storm.tuple.Fields;
import org.apache.storm.tuple.Tuple;
import org.apache.storm.tuple.Values;

import java.util.Map;

public class RealTimeOrderSumTopology {
    /**
     * 模拟天猫双十一，实时订单总和统计过程
     * 在Storm中核心抽象的顶级概念就是Topology
     */


    /**
     *
     * spout只负责产生数据一件事
     */

    static class NumSpout extends BaseRichSpout{
        /**
         *可以理解为mapreduce中的setup方法，核心作用就是用来初始化的
         *
         * @param conf
         * @param context
         * @param collector
         */
       private Map conf;
        private TopologyContext context;
        private SpoutOutputCollector collector;
        @Override
        public void open(Map conf, TopologyContext context, SpoutOutputCollector collector) {
            this.conf=conf;
            this.collector=collector;
            this.context=context;
        }

        /**
         * 可以理解为map-reduce方法，生成一条记录，该方法会持续不断的调用
         */
        long num =0;
        @Override
        public void nextTuple() {

            System.out.println(MyStrom.dateFormat()+"--->马云商城订单交易金额为:"+ num +"$");
            this.collector.emit(new Values(num++));
            MyStrom.sleep(1000);
        }

        /**
         *
         * 声明netTuple通过collector发送出现的数据别名，方便下游
         * 需要说明一点的是declare中的Files和collector中发送的数据一一对应。
         * @param declarer
         */
        @Override
        public void declareOutputFields(OutputFieldsDeclarer declarer) {

                declarer.declare(new Fields("num"));
        }
    }
    static  class NumBolt extends BaseRichBolt {

        private Map conf;
        private TopologyContext context;
        private OutputCollector collector;

        @Override
        public void prepare(Map stormConf, TopologyContext context, OutputCollector collector) {
            this.conf=conf;
            this.collector=collector;
            this.context=context;

        }

        /**
         * 核心处理单元，数据会接受上一个组件（spout的netTuple发送过来或者是bolt中execute发送过来的）发送过来的数据
         * @param input
         */
        long sum=0;
        @Override
        public void execute(Tuple input) {
        long num=input.getLongByField("num");
        sum += num;
        System.out.println("======>>"+ MyStrom.dateFormat()+"--->马云商城订单交易金额为:"+ num +"$");
        MyStrom.sleep(1000);
    }

        /**
         * 该方法不一定要写，如果bolt没有下游，不必重写
         * @param declarer
         */
        @Override
        public void declareOutputFields(OutputFieldsDeclarer declarer) {
            declarer.declare(new Fields("num"));
        }
    }
    public static void main(String[] args) {
        //第一步：构建Topolopyg构建器，用于组织Strom的作业，最终形成一个DAG
        TopologyBuilder tb =new TopologyBuilder();
        tb.setSpout("id_spout",new NumSpout());
        tb.setBolt("id_bolt",new NumBolt()).shuffleGrouping("id_spout");//流分组
        //第二步：使用TopologyBuilder构建Topology
        StormTopology stromTopolofy=tb.createTopology();
        //第三步：提交作业，可以使用集群模式或者本地模式
        //这里使用的是本地模式开发
        LocalCluster localCluster =new LocalCluster();
        //Topology名称
        String topologyName =RealTimeOrderSumTopology.class.getSimpleName();
        //Strom的配置信息
        Config config =new Config();
        localCluster.submitTopology(topologyName,config,stromTopolofy);




    }
}

手动开发一个集群部署的项目：

开启集群：

//开启主节点，运行storm ui界面

[hdp01@hdp01]nohup apps/apache-storm-1.0.2/bin/storm nimbus >/dev/null 2>&1 &

[hdp01@hdp01]nohup apps/apache-storm-1.0.2/bin/storm ui >/dev/null 2>&1 &

 

//开启主节点，开启从节点，开启日志文件

[hdp01@hdp02]nohup apps/apache-storm-1.0.2/bin/storm nimbus >/dev/null 2>&1 &

[hdp01@hdp02]nohup apps/apache-storm-1.0.2/bin/storm supervisor >/dev/null 2>&1 &

[hdp01@hdp02]nohup apps/apache-storm-1.0.2/bin/storm logviewer >/dev/null 2>&1 &

 

//开启从节点，开启日志文件

[hdp01@hdp03]nohup apps/apache-storm-1.0.2/bin/storm supervisor >/dev/null 2>&1 &

[hdp01@hdp03]nohup apps/apache-storm-1.0.2/bin/storm logviewer >/dev/null 2>&1 &

代码：

package com.aura.bigdata.strom.remote;

import com.aura.bigdata.strom.util.MyStrom;
import org.apache.storm.Config;
import org.apache.storm.LocalCluster;
import org.apache.storm.StormSubmitter;
import org.apache.storm.generated.AlreadyAliveException;
import org.apache.storm.generated.AuthorizationException;
import org.apache.storm.generated.InvalidTopologyException;
import org.apache.storm.generated.StormTopology;
import org.apache.storm.spout.SpoutOutputCollector;
import org.apache.storm.task.OutputCollector;
import org.apache.storm.task.TopologyContext;
import org.apache.storm.topology.OutputFieldsDeclarer;
import org.apache.storm.topology.TopologyBuilder;
import org.apache.storm.topology.base.BaseRichBolt;
import org.apache.storm.topology.base.BaseRichSpout;
import org.apache.storm.tuple.Fields;
import org.apache.storm.tuple.Tuple;
import org.apache.storm.tuple.Values;

import java.util.Map;

public class RealTimeOrderSumTopology {
    /**
     * 模拟天猫双十一，实时订单总和统计过程
     * 在Storm中核心抽象的顶级概念就是Topology
     */


    /**
     *
     * spout只负责产生数据一件事
     */

    static class NumSpout extends BaseRichSpout{
        /**
         *可以理解为mapreduce中的setup方法，核心作用就是用来初始化的
         *
         * @param conf
         * @param context
         * @param collector
         */
       private Map conf;
        private TopologyContext context;
        private SpoutOutputCollector collector;
        @Override
        public void open(Map conf, TopologyContext context, SpoutOutputCollector collector) {
            this.conf=conf;
            this.collector=collector;
            this.context=context;
        }

        /**
         * 可以理解为map-reduce方法，生成一条记录，该方法会持续不断的调用
         */
        long num =0;
        @Override
        public void nextTuple() {

            System.out.println(MyStrom.dateFormat()+"--->马云商城订单交易金额为:"+ num +"$");
            this.collector.emit(new Values(num++));
            MyStrom.sleep(1000);
        }

        /**
         *
         * 声明netTuple通过collector发送出现的数据别名，方便下游
         * 需要说明一点的是declare中的Files和collector中发送的数据一一对应。
         * @param declarer
         */
        @Override
        public void declareOutputFields(OutputFieldsDeclarer declarer) {

                declarer.declare(new Fields("num"));
        }
    }
    static  class NumBolt extends BaseRichBolt {

        private Map conf;
        private TopologyContext context;
        private OutputCollector collector;

        @Override
        public void prepare(Map stormConf, TopologyContext context, OutputCollector collector) {
            this.conf=conf;
            this.collector=collector;
            this.context=context;

        }

        /**
         * 核心处理单元，数据会接受上一个组件（spout的netTuple发送过来或者是bolt中execute发送过来的）发送过来的数据
         * @param input
         */
        long sum=0;
        @Override
        public void execute(Tuple input) {
        long num=input.getLongByField("num");
        sum += num;
        System.out.println("======>>"+ MyStrom.dateFormat()+"--->马云商城订单交易金额为:"+ num +"$");
        MyStrom.sleep(1000);
    }

        /**
         * 该方法不一定要写，如果bolt没有下游，不必重写
         * @param declarer
         */
        @Override
        public void declareOutputFields(OutputFieldsDeclarer declarer) {
            declarer.declare(new Fields("num"));
        }
    }
    public static void main(String[] args) throws InvalidTopologyException, AuthorizationException, AlreadyAliveException {
        //第一步：构建Topolopyg构建器，用于组织Strom的作业，最终形成一个DAG
        TopologyBuilder tb =new TopologyBuilder();
        tb.setSpout("id_spout",new NumSpout());
        tb.setBolt("id_bolt",new NumBolt()).shuffleGrouping("id_spout");//流分组
        //第二步：使用TopologyBuilder构建Topology
        StormTopology stromTopolofy=tb.createTopology();
        //第三步：提交作业，可以使用集群模式或者本地模式
        //Topology名称
        String topologyName = RealTimeOrderSumTopology.class.getSimpleName();
        //Strom的配置信息
        Config config =new Config();
        if(args == null || args.length<1){
            //这里使用的是本地模式开发
            LocalCluster localCluster =new LocalCluster();
            localCluster.submitTopology(topologyName,config,stromTopolofy);
        }else {
                //这里是集群开发
            StormSubmitter.submitTopology(topologyName,config,stromTopolofy);
        }

    }
}

打成jar包，上传到虚拟机上，回到

Storm Ui 显示运行项目,命令是回bin目录之前

/bin/storm jar ~/jars/storm/storm-jar.jar com.aura.bigdata.strom.remote.RealTimeOrderSumTopology 1234567890

结果显示：

爱学习的小明同学
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
storm java开发环境搭建_Storm开发——环境配置部署
weixin_42499919的博客
02-16 515
开发环境定义：Storm有两种操作模式：本地模式和远程模式。本地模式允许在本机开发测试Storm topologies，远程模式允许你提交topologies到Storm集群上执行。开发环境则将所有的功能包括在内，以使你能在本机开发测试，也能提交topologies包到远程集群上运行，同时可以kill掉远程上运行的topology。步骤：1. 下载一个Storm release，解压缩到任意目录，...
java 开发storm 拓扑_开发与运行Storm拓扑应用（Topology）
weixin_30789297的博客
02-27 350
1、storm拓扑应用开发步骤storm拓扑的开发，主要有三个步骤：选择合适的spoutstorm提供的DRPCSpout用于同步请求场景，KestrelThriftSpout用于异步请求的场景，这两者已经能满足大多数需求，根据应用需要选择即可。开发boltbolt开发最主要的工作是实现execute()回调函数，由bolt收到数据时调用。execute函数里实现的是具体的业务逻辑，获取输入数据、...
【二】storm本地开发
Sid小杰的博客
06-10 809
一、eclipse+maven构建storm项目前期准备JDK、IDEA、maven创建maven项目添加maven的storm依赖打开官网：http://storm.apache.org/releases/1.1.2/index.html打开pom.xml文件把官网的这个配置加进来，我这里用的是1.1.1二、iSpout核心接口概述核心方法实现类三、iComponent核心接口四、iBolt核心...
Storm工作原理&集群环境搭建
难得糊涂
09-30 1499
序言 Storm是Twitter开源的分布式实时大数据处理框架，最早开源于github，从0.9.1版本之后，归于Apache社区，被业界称为实时版Hadoop。 Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。 参考资料: https://www.cnblogs.com/xuwujing/p/8584684.html https://blog.csdn.net/u011082453/article/...
Storm-本地模式与集群模式部署
风吹海洋浪的博客
12-05 730
Storm-本地模式与集群模式部署Storm运行模式本地模式Storm开发依赖包开发测试helloworld单机模式集群模式区别于本地模式集群部署业务逻辑部署启动命令Storm相关问题Storm常用命令&yaml文件Storm常见错误 Storm运行模式 本地模式 例如在IDEA或者eclipse开发软件中引入jdk，storm开发jar包，进行编写逻辑业务代码进行测试运行 Storm开发依赖包 可以利用maven引入依赖： https://mvnrepository.com/search?q=st
Storm实际开发注意事项
qq_36864672的博客
01-08 776
一、使用组件的并行度代替线程池           Storm 自身是一个分布式、多线程的框架，对每个Spout 和Bolt，我们都可以设置其并发度；它也支持通过rebalance 命令来动态调整并发度，把负载分摊到多个Worker 上。        如果自己在组件内部采用线程池做一些计算密集型的任务，比如JSON 解析，有可能使得某些组件的资源消耗特别高，其他组件又很低，导致Worker ...
Storm入门与实践（2）构建Storm的开发环境与集群
不积跬步，无以至千里；不积小流，无以成江海！
08-14 1665
1. Storm 技术栈Storm 运行在JVM之上，大部分功能都是通过Java与Clojure进行开发。 Storm的主要接口都是通过Java进行开发，但绝大多数的逻辑都是由Clojure进行实。 Python主要用来实现Storm的后台程序以及管理命令程序。2. Storm环境搭建在搭建Storm环境之前,需要对Java以及Zookeeper的环境进行配置2.1 安装基础依赖2.1.1 安装
大数据_Storm_Storm的集群模式与本地模式 （基于Storm 1.0.1）
迎难而上
08-04 5318
今天博主遇到了一个问题，就是将Storm 设置成本地模式后，将 Storm 的包打压成jar , 提交上去。  这时候通过 Storm ui  启动 监控界面。  但是没有查看到 Topology ，应该是本地模式的锅，我将模式切换成集群模式就能在监控界面上看到Topology了。 下面对 集群模式 与 本地模式的 设置代码  进行下粘贴， 留作备忘 项目代码地址： h
Apache Storm 2.x集群部署
IT
07-02 463
storm简介 Storm 是一个开源的分布式实时计算框架，可以以简单、可靠的方式进行大数据流的处理。通常用于实时分析，在线机器学习、持续计算、分布式 RPC、ETL 等场景。Apache Storm 的前身是Twitter Storm平台，采用Clojure开发，目前已经归于 Apache 基金会管辖。 Storm集群环境搭建 参考：https://storm.apache.org/releases/2.2.0/Setting-up-a-Storm-cluster.html 这里搭建一个 3 节点的 S
基于Storm本地集群搭建实时统计CallLog实现可运行
02-25
这个过程中涉及到的技术点包括Java编程、Maven项目管理、Storm的组件设计与提交、以及本地集群的启动和监控。对于大数据实时处理的初学者，这是一个很好的实践项目，可以帮助理解Storm的工作机制并提升实际操作能力...
使用Java开发的storm的小案例，实现随机数打印
03-01
5. **提交Topology**：最后，我们需要将这个Topology提交到本地或者远程的Storm集群进行运行。 对于后端开发来说，理解实时处理的重要性是至关重要的。Apache Storm能够处理大规模数据流，非常适合于实时分析、日志...
storm开发jar包以及storm例子源码
09-18
标题中的"storm开发jar包以及storm例子源码"表明了我们即将探讨的是关于Apache Storm的开发环境设置和示例代码。Apache Storm是一个开源的分布式实时计算系统，它允许开发者处理无限的数据流，常用于大数据实时处理...
Storm 本地运行 统计字母出现次数
08-03
在本地模式下，Storm可以在单机上模拟整个集群环境，方便开发者进行调试和测试。在这种模式下，所有的组件都在同一个进程中运行，简化了开发和验证流程。要运行一个Storm拓扑在本地，需要使用`LocalCluster`类并提交...
storm job 提交集群测试 注意事项
08-11
- **本地模式测试**：在提交集群前，先在本地模式下运行拓扑，便于快速调试和验证。 - **资源调度**：合理分配CPU和内存资源，避免过载导致性能下降或任务失败。 - **日志监控**：设置合适的日志级别，便于跟踪...
2024浙江省行政区划矢量图层-省市县乡镇四级行政区划数据下载-带python代码
最新发布
08-02
2024最新浙江省行政区划矢量图层数据，包含省、市、县、乡镇四级行政区划数据下载，附带shp转geojson的python代码
年度销售计划表.xlsx.xlsx
08-01
销售统计，调查问卷，库存明细，跟进表，业绩统计表，差异分析 ，产品清单 适用人群：学习不同技术领域的小白或进阶学习者；可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。
蓝牙BLE 4.0开发课程
08-01
蓝牙BLE 4.0课程
每日销售情况统计表.xls
08-01
销售统计，调查问卷，库存明细，跟进表，业绩统计表，差异分析 ，产品清单 适用人群：学习不同技术领域的小白或进阶学习者；可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。
Storm入门指南
4. **开发环境设置**：指导读者如何安装和配置 Storm，以及如何设置本地开发环境和集群环境。 5. **编写 Storm 应用**：通过实例演示如何使用 Java 或 Clojure 等语言编写 Storm 组件，并进行单元测试和性能调优。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值