Maven——本地/Storm集群模式运行第一个helloworld项目

最新推荐文章于 2021-07-05 16:39:33 发布
最新推荐文章于 2021-07-05 16:39:33 发布
阅读量625 收藏 3
点赞数
分类专栏： 大数据应用实践 Storm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Leiqian5757/article/details/101040072
版权

本地/集群运行项目

1.创建maven项目

在这里插入图片描述在这里插入图片描述在这里插入图片描述
修改运行环境，右键，选择Propertise
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
修改编译环境
在这里插入图片描述

2.添加依赖

在这里插入图片描述

3.创建项目包

在这里插入图片描述

4.编写java代码

PWSpolt：
在这里插入图片描述

package com.xnmzdx.storm.spolt;

import java.util.HashMap;
import java.util.Map;
import java.util.Random;

import backtype.storm.spout.SpoutOutputCollector;
import backtype.storm.task.TopologyContext;
import backtype.storm.topology.OutputFieldsDeclarer;
import backtype.storm.topology.base.BaseRichSpout;
import backtype.storm.tuple.Fields;
import backtype.storm.tuple.Values;
public class PWSpolt extends BaseRichSpout{
	/**
	 * 添加序列ID
	 */
	private static final long serialVersionUID = 1L;
	private SpoutOutputCollector collector;
	private static Map<Integer, String> map = new HashMap<Integer,String>();
	static{
		map.put(0,"java");
		map.put(1,"storm");
		map.put(2,"scala");
		map.put(3,"hadoop");		
		map.put(4,"bigdata");		
	}
//	初始化
	@Override
	public void open(Map map, TopologyContext context, SpoutOutputCollector collector) {
//		对spolt初始化
		this.collector = collector;
	}
//	轮询方法，对数据源的数据进行处理
	@Override
	public void nextTuple() {
		Random r = new Random();
		int num = r.nextInt(5);
		try {
			Thread.sleep(500);
		} catch (InterruptedException e) {
			e.printStackTrace();
		}
//		发送数据
		collector.emit(new Values(map.get(num)));
	}
//	定义发送的数据字段名
	@Override
	public void declareOutputFields(OutputFieldsDeclarer declarer) {
		declarer.declare(new Fields("print"));
	}
}

PrintBolt：
在这里插入图片描述

package com.xnmzdx.storm.bolt;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;

import backtype.storm.topology.BasicOutputCollector;
import backtype.storm.topology.OutputFieldsDeclarer;
import backtype.storm.topology.base.BaseBasicBolt;
import backtype.storm.tuple.Fields;
import backtype.storm.tuple.Tuple;
import backtype.storm.tuple.Values;

public class PrintBolt extends BaseBasicBolt{
	
	/**
	 * 
	 */
	private static final long serialVersionUID = 7422832656771957355L;
	private static Log log = LogFactory.getLog(PrintBolt.class);

//	处理数据
	@Override
	public void execute(Tuple input, BasicOutputCollector collector) {
//		接收数据
		String print = input.getStringByField("print");
//		数据写到日志中
		log.info("【print】:"+print);
//		发送数据
		collector.emit(new Values(print));
	}

//	
	@Override
	public void declareOutputFields(OutputFieldsDeclarer declarer) {
		declarer.declare(new Fields("write"));
	}

}

WriteBolt：
在这里插入图片描述

package com.xnmzdx.storm.bolt;

import java.io.FileWriter;
import java.io.IOException;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;

import backtype.storm.topology.BasicOutputCollector;
import backtype.storm.topology.OutputFieldsDeclarer;
import backtype.storm.topology.base.BaseBasicBolt;
import backtype.storm.tuple.Tuple;

public class WriteBolt extends BaseBasicBolt {
	/**
	 * 
	 */
	private static final long serialVersionUID = -1461121833051557819L;

	private static Log log = LogFactory.getLog(PrintBolt.class);

	private FileWriter fw;

	@Override
	public void execute(Tuple input, BasicOutputCollector collector) {
//		接受数据
		String write = input.getStringByField("write");
		try {
			if (fw == null) {
				if (System.getProperty("os.name").equalsIgnoreCase("Windows 10")) {
					fw = new FileWriter("D:\\stormtest\\" + this);
				} else if (System.getProperty("os.name").equalsIgnoreCase("Windows 8.1")) {
					fw = new FileWriter("D:\\stormtest\\" + this);
				} else if (System.getProperty("os.name").equalsIgnoreCase("Windows 7")) {
					fw = new FileWriter("D:\\stormtest\\" + this);
				} else if (System.getProperty("os.name").equalsIgnoreCase("Linux")) {
					fw = new FileWriter("/home/temp/" + this);
				}
			}
			log.info("【write】:写入文件");
//		把数据写到文件中
			fw.write(write);
			fw.write("\n");
			fw.flush();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
	@Override
	public void declareOutputFields(OutputFieldsDeclarer declarer) {
		
	}
}

PWTopology：
在这里插入图片描述

package com.xnmzdx.storm.topolopy;

import com.xnmzdx.storm.bolt.PrintBolt;
import com.xnmzdx.storm.bolt.WriteBolt;
import com.xnmzdx.storm.spolt.PWSpolt;

import backtype.storm.Config;
import backtype.storm.LocalCluster;
import backtype.storm.StormSubmitter;
import backtype.storm.generated.AlreadyAliveException;
import backtype.storm.generated.InvalidTopologyException;
import backtype.storm.topology.TopologyBuilder;

public class PWTopology {

	public static void main(String[] args) {
//		创建拓扑的配置对象
		Config cgf = new Config();
//		启动两个worker进程
		cgf.setNumWorkers(2);
		cgf.setDebug(true);

//		创建Topolopy类
		TopologyBuilder builder = new TopologyBuilder();
//		组织spolt和bolt
		builder.setSpout("spout", new PWSpolt());
		builder.setBolt("print-bolt", new PrintBolt()).shuffleGrouping("spout");
		builder.setBolt("write-bolt", new WriteBolt()).shuffleGrouping("print-bolt");

//		本地模式
		LocalCluster cluster = new LocalCluster();
//		提交Topology
		cluster.submitTopology("top1", cgf, builder.createTopology());
//		休息10秒后关闭拓扑
		try {
			Thread.sleep(10000);
		} catch (InterruptedException e) {
			e.printStackTrace();
		}
		cluster.killTopology("top1");
//		关闭本地集群
		cluster.shutdown();
	}
}

5.运行"HelloWorld"项目

1.本地模式

a.在D盘创建stormtest目录
b.本地运行PWTopology.java
c.进入D盘查看输出文件
在这里插入图片描述
在这里插入图片描述

2.集群模式

将PWTopology.java文件改为集群模式

package com.xnmzdx.storm.topolopy;

import com.xnmzdx.storm.bolt.PrintBolt;
import com.xnmzdx.storm.bolt.WriteBolt;
import com.xnmzdx.storm.spolt.PWSpolt;

import backtype.storm.Config;
import backtype.storm.LocalCluster;
import backtype.storm.StormSubmitter;
import backtype.storm.generated.AlreadyAliveException;
import backtype.storm.generated.InvalidTopologyException;
import backtype.storm.topology.TopologyBuilder;

public class PWTopology {

	public static void main(String[] args) {
//		创建拓扑的配置对象
		Config cgf = new Config();
//		启动两个worker进程
		cgf.setNumWorkers(2);
		cgf.setDebug(true);

//		创建Topolopy类
		TopologyBuilder builder = new TopologyBuilder();
//		组织spolt和bolt
		builder.setSpout("spout", new PWSpolt());
		builder.setBolt("print-bolt", new PrintBolt()).shuffleGrouping("spout");
		builder.setBolt("write-bolt", new WriteBolt()).shuffleGrouping("print-bolt");
//		集群模式
		try {
			StormSubmitter.submitTopology("top1", cgf, builder.createTopology());
		} catch (AlreadyAliveException e) {
			e.printStackTrace();
		} catch (InvalidTopologyException e) {			
			e.printStackTrace();
		}
	}
}
a.将maven项目打成jar包，上传到Storm集群主节点storm01的/home/stormjars中

在这里插入图片描述
此时在target目录下就有相应的jar包
注意：此jar包必须是集群模式的jar包，否则会出错
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述创建/home/temp目录，用于存储输出的数据
在这里插入图片描述

b.启动zookeeper集群和storm集群，jps查看进程

3个节点启动zookeeper进程

zkServer.sh start
zkServer.sh status

在这里插入图片描述
主节点启动nimbus和ui进程

storm nimbus >/dev/null 2>&1 &
storm ui >/dev/null 2>&1 &

在这里插入图片描述
两个从节点启动supervisor进程

storm supervisor >/dev/null 2>&1 &

在这里插入图片描述在这里插入图片描述jps查看进程
storm01：
在这里插入图片描述
storm02：
在这里插入图片描述
storm03：
在这里插入图片描述

c.在主节点的stormjars目录下提交作业

提交 Storm Topology： storm jar mycode.jar storm.MyTopology arg1 arg2 … mycode.jar：包含 Topology 实现代码的 jar 包
storm.MyTopology：main 方法的入口，即 main 方法所在类名
arg1、arg2 等为 main 方法参数
在这里插入图片描述当出现下面这一行是，说明文件提交成功，否则提交失败。
在这里插入图片描述列出 Storm Topology： storm list
在这里插入图片描述
在这里插入图片描述
查看两个从节点是否有worker进程
在这里插入图片描述
在这里插入图片描述
tail -f 实时查看文件的写入过程。
在这里插入图片描述暂停 Storm Topology： storm deactivate {topologyname}
在这里插入图片描述
此时再tail -f 实时查看文件写入过程，文件是不写入状态
在这里插入图片描述
停止 Storm Topology： storm kill {topologyname}

在这里插入图片描述在这里插入图片描述

d.关闭zookeeper集群和storm集群
zkServer.sh stop

在这里插入图片描述kill -9 进程编号：关闭nimbus和supervisor
在这里插入图片描述

厚厚的小白菜
关注
专栏目录
Storm原理与代码实例讲解
程序员光剑
07-06 933
Storm原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 在大数据处理领域，实时流数据处理的需求日益增加。传统的批处理框架难以满足实时性的要求，而实时流处理框架则成为了解决此类问题的有效途径。Apache Storm 是一种分布式实时计算框
storm安装与kafka整合
superWe的博客
04-14 4331
1.storm是什么 1.1storm的介绍 storm是twitter公司开源贡献给apache的一款实时流式处理的一个开源软件，主要用于解决数据的实时计算以及实时的处理等方面的问题 1.2storm的特点 Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。Storm有很多使用场景：如实时分析，在线机器学习，持续计算，分布式RPC，ETL等等。St...
Storm编程实践(安装Maven-使用Maven编译运行代码-mvn 打包)
06-09
Storm编程实践(安装Maven-使用Maven编译运行代码-mvn 打包)
Storm的2种运行模式
weixin_34075268的博客
03-14 219
本地模式运行 本地模式类似storm集群是一个进程，用来编写和测试topology。在本地模式上运行topology类似在一个集群上运行topology。创建一个本地集群： import backtype.storm.LocalCluster; LocalCluster cluster = new LocalCluster();提交集群使用submitTop...
Storm系列（三）：创建Maven项目打包提交wordcount到Storm集群
weixin_30307921的博客
08-03 333
在上一篇博客中，我们通过Storm.Net.Adapter创建了一个使用Csharp编写的Storm Topology - wordcount。本文将介绍如何编写Java端的程序以及如何发布到测试的Storm环境中运行。 如果你觉得对你有帮助，欢迎Star和Fork，让更多人看到来帮助完善这个项目。 STEP1: 克隆storm官方示例项目storm-starter： $ git clo...
Storm(0.6.1)的Hello World
编程圈子-谢厂节的博客
12-15 847
运行demo 了解如何提交Topologystorm jar ../examples/storm-starter/storm-starter-topologies-1.0.1.jar storm.starter.StatefulTopology StatefulApp准备工作 安装jdk 安装eclipse For Java，带maven 创建工程 Eclipse 中 新建Storm1的Maven项
[BOOK] Getting Started with Storm
10-17
- **本地模式（Local Mode）**：在单个JVM中模拟整个Storm集群的运行环境，主要用于开发和测试阶段。 - **远程模式（Remote Mode）**：在真实的分布式环境中运行，需要配置Nimbus、Supervisor等组件。 #### 四、...
集群storm启动脚本
路漫漫其修远兮，吾将上下而求索
11-13 1300
#!/bin/sh echo "#######################" echo "###" echo "## 这是storm的一键启动脚本" echo "##" echo "########################" ##首先启动当前机器,即master上的storm进程: nimbus 和 ui [core]echo "启动master上的nimbus" nohup /opt/
maven对storm打包
05-16
storm如何打依赖的jar包，如何打无依赖的jar包
Storm入门-helloWorld
u010634288的博客
12-02 682
一、简述 1、首先需要编写数据源类、Spout。可以使用两种方式 1.1继承BaseRichSpout类 1.2实现IRichSpout接口 1.3重点需要几个方法进行重写或实现：open（初始化方法）、nextTuple（核心方法）、declareOutputFiles（转向到下个节点的方法） 2、然后编写我们的数据处理类：bolt，也可以使用两种方式 2.1继承BaseBasicB
maven实现storm实例项目
IAProgramer的博客
06-14 7023
一：启动zookeeper 在写程序之前需要启动集群中的zookeeper,我这是三台机器，master, DataNode1, DataNode2。每台机器都要启动,启动方式如下图 启动后会有一个leader节点和两个follower节点。可以通过zkServer.sh status这个命令查看 二：启动storm 中的nimbus 和 supervisor 和UI 在storm
Storm集群配置与启动
hongye301的博客
01-21 1789
一、Storm集群配置 搭建总体的架构： 实现步骤： 1.安装和配置jdk 2.安装和配置zookeeper 3.上传和解压storm 4.配置storm安装目录conf目录下的storm.yaml文件 storm.yaml配置示例： 找到storm.zookeeper.servers: 添加服务节点，如下： storm.zookeeper.servers: - “zkp1” - “zkp2” ...
Storm-本地模式与集群模式部署
风吹海洋浪的博客
12-05 921
Storm-本地模式与集群模式部署Storm运行模式本地模式Storm开发依赖包开发测试helloworld单机模式集群模式区别于本地模式集群部署业务逻辑部署启动命令Storm相关问题Storm常用命令&yaml文件Storm常见错误 Storm运行模式 本地模式 例如在IDEA或者eclipse开发软件中引入jdk，storm开发jar包，进行编写逻辑业务代码进行测试运行 Storm开发依赖包 可以利用maven引入依赖： https://mvnrepository.com/search?q=st
Storm集群是如何启动的，任务是如何执行的？
汤小萌的博客
12-15 1461
1.Storm集群是如何启动的，任务是如何执行的？ 集群架构中的各个模块如何启动？ 任务如何分配，如何执行？ storm启动nimbus服务的命令： cd /export/servers/storm/bin/ nohup ./storm nimbus &amp; 1.客户端运行storm nimbus时，会调用storm的脚本，生成一条java命令，命令格式如下： java -server x...
Storm集群的安装
真诚的程序员
11-24 5025
到Storm的官方网站Document下的Setup and deploying栏目下的Setting up a Storm Cluster 安装Storm分为如下5个步骤： 1、安装zookeeper集群 2、在Nimbus和Supervisor机器上安装JAVA SDK 6和python2.6.6 3、安装Storm包，解压到Nimbus和Supervisor机器 4、配置Sto
storm集群统一启动和停止shell脚本开发
10-08 9758
Hadoop集群 start-all.sh 启动全部进程 stop-all.sh停止 如果用cdh版本+cloudera manager界面化管理的话，直接在界面上点击按钮即可 原理：通果ssh执行远程shell脚本 storm停止进程 Kill -9 shell脚本开头： #!/bin/bash ./etc/profile 以前就是直接去ui看executor下面是哪
从0到1教你学Maven（全网最详细）（十）Maven的war类型项目的本地启动运行
一天不写代码难受的博客
07-05 514
目录1. 问题:2. 解决:3. 实现: 1. 问题: 以前我们使用idea工具直接创建javaEE项目，而idea在帮我们创建javaEE项目的时候就已经指定了项目运行所需要的tomcat，我们直接启动tomcat访问项目即可。但是使用maven创建的war类型的项目，在创建的时候并没有指明项目运行所需要的tomcat，那么maven的war类型项目，在功能开发完成后如何启动运行呢? 2. 解决: maven的项目中涉及到的资源需要maven来进行管理。war类型的项目在开发完成后，需要告诉maven去调
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值