【Storm】Spout的storm-starter及Grouping策略、并发度讲解、网站浏览量和用户数统计

最新推荐文章于 2023-09-27 19:25:07 发布
VIP文章 最新推荐文章于 2023-09-27 19:25:07 发布
阅读量580 收藏 4
点赞数 1
分类专栏： Storm 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014028317/article/details/94324850
版权

maven先安装好。

以下讲storm-starter的使用。

1、从github下载官方的storm-starter例子包，是maven工程，

      地址 https://github.com/nathanmarz/storm-starter

2、把文件解压复制到workspace目录下，用cmd命令行，在该文件目录下运行mvn eclipse:eclipse，生成eclipse所用的文件，使得maven工程变成eclipse可用的工程。

3、导入到eclipse。新建源码文件夹lesson。把上一节storm入门案例工程的lesson包，整个复制到storm-starter-master的lesson源码文件夹下。

4、选中项目右键，Run as maven package，用maven打包。在target文件夹下有2个jar包。

storm-starter-0.0.1-SNAPSHOT.jar是不含依赖，只含有工程代码，较小。

storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar 包含依赖，较大，通常需要由依赖的包。

5、官方提供的例子

 

分组策略（Stream Grouping）

stream grouping 用来定义一个 stream 应该如何分配给 Bolts 上面的多个Tasks，也就是分配给Bolts上面的多个Executors（多线程，并发度）。

1、Storm 里面有 6种类型的 stream grouping：

注：1）、2）、5）最常用，其他基本不用。

单线程等于All Grouping

1）Shuffle Grouping：随机分组，随机派发 stream 里面的 tuple，保证每个 bolt 接收到的 tuple 数目大致相同。通过轮询实现，保证平均分配。

2）Fields Grouping：按字段分组，比如按 userid 来分组，具有同样 userid 的 tuple 会被分到相同的 bolts，而不同的 userid 则会被分配到不同的 bolts。

3）All Grouping：广播发送，对于每一个 tuple，所有的 bolts 都会收到。

4）Global Grouping：全局分组，这个 tuple 被分配到 storm 中的一个 bolt 的其中一个 task。再具体一点就是分配给 id 值最低的那个 task。

5）None Grouping：不分组，这个分组的意思是说 stream 不关心到底谁会收到它的 tuple。目前这种分组和 Shuffle Grouping 是一样的效果，但是多线程下不平均分配。

6）Direct Grouping：直接分组，这是一种比较特别的分组方法，用这种分组意味着消息的发送者指定由消息接收者的哪个 task 处理这个消息。只有被声明为 Direct Stream 的消息流可以声明这种分组方法。而且这种消息 tuple 必须使用 emitDirect 方法来发射。消息处理者可以通过 TopologyContext 来获取处理它的消息的 task 的 id （OutputCollector.emit 方法也会返回 task 的 id）。

7）Local or Shuffle Grouping：如果目标 bolt 有一个或者多个 task 在同一个工作进程中，tuple 将会被随机发送给这些 tasks。否则，和普通的 Shuffle Grouping 行为一致。

2、测试

1）Shuffle Grouping 轮循的方式。

在lesson的Main.java改代码。把bolt并发数改为2，也就是bolt会有2个线程。

		// bolt的方法有3个参数，
		// bolt的id（String类型），实例，并发数。大量数据场景并行数设置大一些
		// bolt的数据来源于spout，名称要和上文setSpout的id一致，否则不能获取到数据
		// shuffle发射规则，后续详讲
		topoBuilder.setBolt("bolt", new MyBolt(), 2).shuffleGrouping("spout");

lesson的MyBolt.java改代码。打印的内容增加当前的线程名。

			if (null != valStr) {
				num++;
				System.out.println(Thread.currentThread().getName() + ", lines : " + num + ", sessionId: " + valStr.split("\t")[1]);
			}

控制台打印的内容，显示有2个bolt线程，每个线程接收到的个数相同。每个线程打印出来的总行数相加，才等于track.log文件的总行数。

Thread-22-bolt, lines : 1, sessionId: 5CFBA5BD76BACF436ACA9DCC8
Thread-50-bolt, lines : 1, sessionId: 5D16C7A886E2P2AE3EA29FC3E
Thread-22-bolt, lines : 2, sessionId: 5D16C7A886E2P2AE3EA29FC3E
Thread-50-bolt, lines : 2, sessionId: 5C3FBA728FD7D264B80769B23
Thread-22-bolt, lines : 3, sessionId: 5D16C1F5191CF9371Y32B58CF
Thread-50-bolt, lines : 3, sessionId: 5C16BC4MB91B85661FE22F413
.
.
.
Thread-22-bolt, lines : 23, sessionId: 5GFBAT3D3100A7A7255027A70
Thread-50-bolt, lines : 23, sessionId: 5D16C1EB1C7A751AE03201C3F
Thread-50-bolt, lines : 24, sessionId: 5B16C0F7215109AG43528BA2D
Thread-22-bolt, lines : 24, sessionId: 5N16C2FE51E5619C2A1244215
Thread-22-bolt, lines : 25, sessionId: 5X16BCA8823AC4BD9CD196A5D
Thread-50-bolt, lines : 25, sessionId: 5C3FBA728FD7D264B80769B23

2）spout的并发数为2，bolt并发数为1.

topoBuilder.setSpout("spout", new MySpout(), 2);
topoBuilder.setBolt("bolt", new MyBolt(), 1).shuffleGrouping("spout");

控制台打印的内容显示，只有1个bolt线程，符合预期。但是bolt读取到的总行数是track.log文件行数的2倍。这是因为spout有2个线程，所以track.log被读取了2次。说明把文件当做spout数据来源是，shout的线程数只能是1.

Thread-23-bolt, lines : 1, sessionId: 5CFBA5BD76BACF436ACA9DCC8
Thread-23-bolt, lines : 2, sessionId: 5CFBA5BD76BACF436ACA9DCC8
Thread-23-bolt, lines : 3, sessionId: 5D16C7A886E2P2AE3EA29FC3E
Thread-23-bolt, lines : 4, sessionId: 5D16C7A886E2P2AE3EA29FC3E
Thread-23-bolt, lines : 5, sessionId: 5D16C7A886E2P2AE3EA29FC3E
.
.
.
Thread-23-bolt, lines : 96, sessionId: 5N16C2FE51E5619C2A1244215
Thread-23-bolt, lines : 97, sessionId: 5X16BCA8823AC4BD9CD196A5D
Thread-23-bolt, lines : 98, sessionId: 5X16BCA8823AC4BD9CD196A5D
Thread-23-bolt, lines : 99, sessionId: 5C3FBA728FD7D264B80769B23
Thread-23-bolt, lines : 100, sessionId: 5C3FBA728FD7D264B80769B23

3）Non Grouping

spout并发数为1，bolt并发数为2.

topoBuilder.setSpout("spout", new MySpout(), 1);
topoBuilder.setBolt("bolt", new MyBolt(), 2).noneGrouping("spout");

控制台打印内容如下，bolt有2个线程，线程名为Thread-23-bolt的计数器是20，线程名为Thread-50-bolt的计数器是30。说明在non grouping模式下，是不平均分配的。

Thread-23-bolt, lines : 2, sessionId: 5D16C7A886E2P2AE3EA29FC3E
Thread-50-bolt, lines : 1, sessionId: 5D16C7A886E2P2AE3EA29FC3E
Thread-23-bolt, lines : 3, sessionId: 5C3FBA728FD7D264B80769B23
Thread-23-bolt, lines : 4, sessionId: 5D16C1F5191CF9371Y32B58CF
Thread-50-bolt, lines : 2, sessionId: 5C16BC4MB91B85661FE22F413
.
.
.
Thread-23-bolt, lines : 17, sessionId: 5D16C1EB1C7A751AE03201C3F
Thread-23-bolt, lines : 18, sessionId: 5B16C0F7215109AG43528BA2D
Thread-50-bolt, lines : 30, sessionId: 5N16C2FE51E5619C2A1244215
Thread-23-bolt, lines : 19, sessionId: 5X16BCA8823AC4BD9CD196A5D
Thread-23-bolt, lines : 20, sessionId: 5C3FBA728FD7D264B80769B23

4）Fields Grouping 策略，

  回顾 fields grouping 策略的作用：

（1）过滤，从源端（spout或上一级bolt）多输出Fields中选择某些field；

（2）相同的tuple会分发给同一个Executor或task处理。

典型场景：去重操作，join（企业用得不多，需要用到2个数据源，且2个数据源要同时，不能相差太久）

1个spout，2个bolt。

topoBuilder.setSpout("spout", new MySpout(), 1);
// Field grouping有2个参数。第一个是spout名称，第二个是field名称
topoBuilder.setBolt("bolt", new MyBolt(), 2).fieldsGrouping("spout", new Fields("log"));

效果和Non Grouping差不多。

Thread-50-bolt, lines : 1, sessionId: 5CFBA5BD76BACF436ACA9DCC8
Thread-50-bolt, lines : 2, sessionId: 5D16C7A886E2P2AE3EA29FC3E
Thread-50-bolt, lines : 3, sessionId: 5D16C7A886E2P2AE3EA29FC3E
Thread-50-bolt, lines : 4, sessionId: 5C3FBA728FD7D264B80769B23
Thread-50-bolt, lines : 5, sessionId: 5D16C1F5191CF9371Y32B58CF
.
.
.
Thread-50-bolt, lines : 26, sessionId: 5B16C0F7215109AG43528BA2D
Thread-21-bolt, lines : 22, sessionId: 5N16C2FE51E5619C2A1244215
Thread-21-bolt, lines : 23, sessionId: 5X16BCA8823AC4BD9CD196A5D
Thread-50-bolt, lines : 27, sessionId: 5C3FBA728FD7D264B80769B23

5）All grouping策略模式

1个spout，2个bolt。

topoBuilder.setSpout("spout", new MySpout(), 1);
// all grouping 广播方式
topoBuilder.setBolt("bolt", new MyBolt(), 2).allGrouping("spout");

spout会把每个数据分发给每一个下级的bolt，每个bolt线程获取到的行数都是一样的。开发时广播方式不常用。

Thread-23-bolt, lines : 1, sessionId: 5CFBA5BD76BACF436ACA9DCC8
Thread-49-bolt, lines : 1, sessionId: 5CFBA5BD76BACF436ACA9DCC8
Thread-23-bolt, lines : 2, sessionId: 5D16C7A886E2P2AE3EA29FC3E
Thread-49-bolt, lines : 2, sessionId: 5D16C7A886E2P2AE3EA29FC3E
.
.
.
Thread-23-bolt, lines : 49, sessionId: 5X16BCA8823AC4BD9CD196A5D
Thread-49-bolt, lines : 49, sessionId: 5X16BCA8823AC4BD9CD196A5D
Thread-23-bolt, lines : 50, sessionId: 5C3FBA728FD7D264B80769B23
Thread-49-bolt, lines : 50, sessionId: 5C3FBA728FD7D264B80769B23

6）Global Grouping 全局分组

1的spout，2个bolt。

topoBuilder.setSpout("spout", new MySpout(), 1);
// Global Grouping 全局分组
topoBuilder.setBolt("bolt", new MyBolt(), 2).globalGrouping("spout");

控制台打印的内容，有2个线程，名称分别为Thread-22-bolt 和 Thread-50-bolt。但是只有序号小的有接收到数据，序号大的没有接收到数据。Global Grouping 全局分组是把数据分配给id值最低的task。

[Thread-22-bolt] INFO  backtype.storm.daemon.executor - Prepared bolt bolt:(5)
[Thread-50-bolt] INFO  backtype.storm.daemon.executor - Prepared bolt bolt:(6)
.
.
.
Thread-22-bolt, lines : 1, sessionId: 5CFBA5BD76BACF436ACA9DCC8
Thread-22-bolt, lines : 2, sessionId: 5D16C7A886E2P2AE3EA29FC3E
Thread-22-bolt, lines : 3, sessionId: 5D16C7A886E2P2AE3EA29FC3E
.
.
.
Thread-22-bolt, lines : 47, sessionId: 5B16C0F7215109AG43528BA2D
Thread-22-bolt, lines : 48, sessionId: 5N16C2FE51E5619C2A1244215
Thread-22-bolt, lines : 49, sessionId: 5X16BCA8823AC4BD9CD196A5D
Thread-22-bolt, lines : 50, sessionId: 5C3FBA728FD7D264B80769B23

 

思考：读取文件案例思考

      示例中用的是storm读取文件，把文件作为数据源，在企业中很少见。storm是分布式应用，数据会分发到每一台supervisor执行，读本地文件只在一台机器上。

1）Spout数据源可以是数据库、文件、MQ（比如：Kafka）。
2）数据源是数据库：只适合读取数据库的配置文件，但不能读取增量数据。
3）数据源是文件：只适合测试、讲课用（因为集群是分布式集群），其他无用。
4）企业产生的 log 文件处理步骤：
  （1）读出内容写 入MQ
  （2）Storm 再处理

读文件案例说明：

1）分布式应用无法读文件；

2）spout无法并发读，开并发会重复读。

 

并发度场景分析

场景分析：

单线程下：加减乘除（其实什么都可以做），和任何类进行操作。

多线程下：可以做局部加减乘除，不适合做全部加减乘除。

多线程下适合：

a、局部加减乘除

b、做处理类Operate，如split

c、持久化，如入DB

 

 

官方案例

1、统计单词 WordCountTopology，在storm-starter-master工程的目录如下。

为了便于理解，对官方的案例进行改写。在源码文件夹lesson下，创建包WordCount，复制WordCountTopology.java到WordCount包。

2、程序分析：

（1）有1个spout，有2个bolt。

（2）MyRandomSentenceSpout多次发送数据，nextTuple函数的实现是，每次发送的数据相同。

（3）MySplit，接收到spout的数据，数据都是字符串，对字符串进行分割。

（4）WordCount，接收从split发射的数据，都是单个字符，统计每个字符的个数。

3、各个程序代码和运行结果

（1）主程序WordCountTopology，用于统计单词个数的bolt程序WordCount

package WordCount;

import backtype.storm.Config;
import backtype.storm.LocalCluster;
import backtype.storm.StormSubmitter;
import backtype.storm.task.ShellBolt;
import backtype.storm.topology.BasicOutputCollector;
import backtype.storm.topology.IRichBolt;
import backtype.storm.topology.OutputFieldsDeclarer;
import backtype.storm.topology.TopologyBuilder;
import backtype.storm.topology.base.BaseBasicBolt;
import backtype.storm.tuple.Fields;
import backtype.storm.tuple.Tuple;
import backtype.storm.tuple.Values;
import storm.starter.spout.RandomSentenceSpout;

import java.util.HashMap;
import java.util.Map;

/**
 * This topology demonstrates Storm's stream groupings and multilang capabilities.
 */
public class WordCountTopology {
  public static class SplitSentence extends ShellBolt implements IRichBolt {

    public SplitSentence() {
      super("python", "splitsentence.py");
    }

    @Override
    public void declareOutputFields(OutputFieldsDeclarer declarer) {
      declarer.declare(new Fields("word"));
    }

    @Override
    public Map<String, Object> getComponentConfiguration() {
      return null;
    }
  }
  
  // 统计每个单词出现的次数
  public static class WordCount extends BaseBasicBolt {
    Map<String, Integer> counts = new HashMap<String, Integer>();

    @Override
    public void execute(Tuple tuple, BasicOutputCollector collector) {
      String word = tuple.getString(0);
      Integer count = counts.get(word);
      if (count == null)
        count = 0;
      count++;
      counts.put(word, count);
      //打印出当前线程名称，单词 和 个数
      System.out.println(Thread.currentThread().getName() + ", word = " + word + ", count = " + count);
      collector.emit(new Values(word, count));
    }

    @Override
    pub
最低0.47元/天 解锁文章
晚风中的自由
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
storm-starter 打包文件，可直接上传至storm执行
08-21
storm入门文件，storm-starter 打包文件，可直接上传至storm执行。
storm-starter的运行
真诚的程序员
11-25 4793
1、下载storm-starter，可以到https://github.com/nathanmarz/storm-starter去下载zip包，也可以通过git命令去clone：git clone https://github.com/nathanmarz/storm-starter.git 2、由于start-starter是基于maven作为项目构建工具的，我们还要安装maven：
Storm概念学习系列之storm-starter项目（完整版）（博主推荐）
weixin_30416871的博客
06-01 412
这是书籍《从零开始学Storm》赵必厦 2014年出版的配套代码！ 　　storm-starter项目包含使用storm的各种各样的例子。项目托管在GitHub上面，其网址为:http://github.com/nathanmarz/storm-starter 　　或者 　　 　storm-starter项目的包结构：...
大数据与云计算——Storm详细配置(保姆级教程！）
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
09-27 1044
在这篇文章中，我们将从头开始，将提供一份保姆级教程，帮助进行相关配置和运行WordCountTopology。向您展示如何配置Storm环境。我们将详细介绍所需的软件和工具，并提供逐步指导，帮助您完成安装和配置过程。本人也在不断努力进步，希望自己的博文能够希望对各位有所帮助。
Storm中spout和bolt之间发送和接收数据的java源代码实例
最新发布
11-05
Storm中spout和bolt之间发送和接收数据的java源代码实例
storm-kafka-hdfs-starter
07-01
此项目不再维护有关最新信息，请参阅 。Storm-kafka-hdfs-starter 提供使用 KafkaSpout 和 HdfsBolt 的示例
vortex-storm:一个Apache Storm Spout和Bolt，用于使用和生成Vortex数据
05-13
一个 和用于使用和生成数据 建筑 mvn install -P cafe-build 构建 为了构建Vortex OpenSplice，必须定义OSPL_HOME环境变量。 mvn install -P ospl-build 涡流概述 PrismTech的Vortex智能数据共享平台提供了对象管理...
flume-kafka-storm-drools-example
06-27
水槽卡夫卡风暴流口水示例 这个项目使用来自kafka的storm spout消费者日志消息并使用drools定义他们的规则，最后将有用的数据保存到redis。 你可以在看到更多信息
storm-可靠机制
03-03
Storm的可靠性是指Storm会告知用户每一个消息单元是否在一个指定的时间(timeout)内被完全处理。完全处理的意思是该MessageId绑定的源Tuple以及由该源Tuple衍生的所有Tuple都经过了Topology中每一个应该到达的Bolt的...
Storm 环境配置及Storm starter运行
zhang434的专栏
12-17 3226
一、            Storm基本安装 1. 安装python ================================= # wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz # tar zxvf Python-2.7.2.tgz # cd Python-2.7.2 # ./configure
Storm 快速安装及部署示例
一名java从业者的专栏
09-26 4283
本文提供最简单快速的安装示例：Storm依赖zookeeper和Python环境，具体安装步骤不再列出，只简单介绍Storm的安装过程。1，Linux环境下载storm（版本0.10.0）wget http://mirrors.cnnic.cn/apache/storm/apache-storm-0.10.0/apache-storm-0.10.0.tar.gz 2，解压tar -zxvf apac
Storm Topologies 示例——（结合Maven使用storm-starter）
wangyang163wy的博客
07-20 1030
结合Maven使用storm-starter 学会使用Storm! 安装Maven Maven （最好是版本3.x）的安装可以按照以下的步骤，Maven安装。 在本地Build和install Storm jars 如果您正在使用Storm的最新开发版本，例如，通过克隆git上的Storm， If you are using the latest development v
Eclipse运行storm-starter
cuihaolong的专栏
09-14 2663
官网下载的Storm安装文件中自带storm-starter源码，所在路径为storm/examples/storm-starter，可以在该目录下用maven打包源代码并提交到storm上运行，也可以使用eclipse编译运行。 1.新建项目，导入依赖库 在eclipse中新建一个java项目，例如storm_starter，点击下一步，然后在Libraries中选择add External
使用Maven编译运行Storm入门代码(Storm starter)
yanhx1204的专栏
02-06 2503
Storm 官方提供了入门代码（ Storm starter ），即Storm安装教程 中所运行的实例（storm-starter-topologies-0.9.6.jar），该入门代码位于 /usr/local/storm/examples/storm-starter/ 中，包含多个例子，对于学习 Storm 很有帮助。同时官方也有给出了详细的使用说明（上述目录下的 README.markd
Storm-Starter分析————ReachTopology
徐玄清的专栏
04-05 930
模型较为简单： 线性结构：GetTweeters—————GetFollowers————PartialUniquer—————CountAggregator 以上全部为bolt节点，最开始由drpc.execute("reach", url)发起 此处有疑问1： 两处fieldsGrouping中的new Fields中不管是仅写“id”还是如图红圈部分一样写上上一个declar
编译storm-starter-master，导入eclipse。
csdn问鼎
03-22 1177
编译storm-starter-master，导入eclipse。使用国内镜像地址提高下载速度。
storm-starter 例子学习
weixin_33759269的博客
06-27 256
storm-starter 是 apache storm 针对初学者的一个用maven管理的项目示例。这篇文章记录storm-starter例子代码分析及执行。 参考：https://github.com/apache/storm/tree/master/examples/storm-starter   1，$ mvn clean install -DskipTests=true 命令的...
Storm Topologies 示例——（结合IntelliJ IDEA使用storm-starter）
wangyang163wy的博客
07-20 1244
Storm Topologies 示例 学会使用Storm! 目录 入门 结合Maven运行storm-starter 结合IntelliJ IDEA运行storm-starter 入门 必备条件 首先，你需要在你的电脑上安装‘java’和‘git’并且将它们的环境变量配置到你电脑的‘PATH’中。另外，在storm-starter中存在两个例子需要用到Python和R
Storm中的Stream grouping有哪几种方式？
06-10
在Storm中，Stream grouping用于将Spout或Bolt发射的Tuple路由到下游Bolt的任务中。以下是Storm中的几种Stream grouping方式： 1. Shuffle grouping：随机分组，每个Tuple随机发送到下游Bolt的任务中。 2. Fields ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值