Storm的Stream分组方式

原创 2016年11月24日 10:23:12

Storm7种内置的分组方式,也可以通过实现CustomStreamGrouping接口来定义自己的分组。

(1)Shuffle分组:Task中的数据随机分配,可以保证同一级Bolt上的每个Task处理的Tuple数量一致。

(2)Fields分组:  根据Tuple中的某一个Filed或者多个Filed的值来划分。比如Stream根据user-id的值来分组,具有相同的user-id值的Tuple会被分发到相同的Task中。

(3)All分组:        所有的Tuple都会分发到所有的Task上。

(4)Global分组:  整个Stream会选择一个Task作为分发的目的地,通常是具有最新ID的Task。

(5)None分组:    也就是你不关心如何在Task中做Stream的分发,目前等同于Shuffle分组。

(6)Direct分组:   这是一种特殊的分组方式,也就是产生数据的Spout/Bolt自己明确决定这个Tuple被Bolt的哪些Task所消费。如果Direct分组,需要使用OutputCollector的emitDirect方法来实现。

(7)Local or shuffle分组:如果目标Bolt中的一个或者多个Task和当前产生数据的Task在同一个Worker进程中,那么就走内部的线程间通信,将Tuple直接发给在当前Worker进程中的目的Task。否则,同Shuffle分组。

              

              

版权声明:本文为博主原创文章,未经博主允许不得转载。

Java 8 stream()分组,过滤筛选 List<Object> 根据Object 中的某几个属性作为条件进行分组 去重过滤

List对象 筛选学生年龄 和性别一样的 进行分组,并且挑选出身高最高的 学生Object类:Studentpublic class Student { private String name;...
  • Java_HuiLong
  • Java_HuiLong
  • 2017年03月01日 10:05
  • 3442

Java 8 stream 分组 合并

java 8 stream 分组 合并
  • u010468602
  • u010468602
  • 2017年09月26日 21:32
  • 753

jdk1.8新特性 分组统计及格式化

package com.lixy.practice; import org.omg.Messaging.SYNC_WITH_TRANSPORT; import java.util.*; impor...
  • u011191463
  • u011191463
  • 2017年03月16日 18:16
  • 1927

Storm的Stream分组方式

Storm有7种内置的分组方式,也可以通过实现CustomStreamGrouping接口来定义自己的分组。 (1)Shuffle分组:Task中的数据随机分配,可以保证同一级Bolt上的每个Tas...
  • CSDN_WANGQI
  • CSDN_WANGQI
  • 2016年11月24日 10:23
  • 1999

storm 流分组策略(Stream grouping)

配置并行度 works jvm:在一个节点可以运行多个jvm进程,一个topology可以包含一个或者多个worker并行的泡在不同的machine,所以一个work progress就是执行一...
  • caohongshuang
  • caohongshuang
  • 2017年10月28日 22:13
  • 104

STORM入门之(Stream Groupings分组方式)

Stream Groupings Stream Grouping定义了一个流在Bolt任务间该如何被切分。这里有Storm提供的6个Stream Grouping类型 1. 随机分组(Shuffle ...
  • yl3395017
  • yl3395017
  • 2017年08月02日 15:42
  • 186

Stream Collectors groupingBy 例子

在这篇文章中,我们将向您展示如何使用java 8  Stream Collectors 对列表分组,计数,求和和排序。 1. Group By, Count and Sort 1.1 Gr...
  • wangmuming
  • wangmuming
  • 2017年05月25日 20:21
  • 6554

storm的八种Grouping策略

storm的八种Grouping策略 http://www.cnblogs.com/UUhome/p/4298755.html  在这里,将会提到storm的七种groupin...
  • zdy0_2004
  • zdy0_2004
  • 2015年02月25日 00:18
  • 2732

storm 流分组策略(Stream grouping)

配置并行度 works jvm:在一个节点可以运行多个jvm进程,一个topology可以包含一个或者多个worker并行的泡在不同的machine,所以一个work progress就是执行一...
  • CottonDuke
  • CottonDuke
  • 2017年03月23日 19:26
  • 859

storm的分组策略

storm有7种流分组策略: 1:shuffle Grouping 随机分组;将tuple随机分配到bolt中,能够保证各bolt中处理的数据均衡; 2:Fields Grouping 按字段分组; ...
  • weixin_36519190
  • weixin_36519190
  • 2016年10月28日 18:25
  • 1336
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Storm的Stream分组方式
举报原因:
原因补充:

(最多只允许输入30个字)