关于Storm的几点困惑释疑

原创 2015年07月07日 16:13:35
一、Storm的文档中提及为Spout和Bolt单元设置的“线程数量”为“初始线程数量”,难道还可以改变?
在一个具体的Topology实例运行起来后,可以动态调整为Spout单元和Bolt单元服务的线程的“线程数量”,因此称刚开始设置的线程数量为初始线线程数量”。

参考文献:
[1]:http://blog.csdn.net/dslztx/article/details/46789443


二、在Storm中已经有了进程,线程,为何还需要任务?
在Storm中已经有了进程和线程,为何还需要任务?任务对于提升并发性没有意义,因为同一个线程中的多个任务间是串行执行的。
这样做的主要原因是:
当我们只有进程和线程两个层次的时候,如果需要将Tuple根据某个值进行分组(即采用fieldsGrouping分组方式),那么刚开始设定的线程数量就不能改变,否则就会出错。
比如刚开始设定线程数量为3,那么值1和4的Tuple被分配到线程1,值2和5的Tuple被分配到线程2,值3和6的Tuple被分配到线程3。而如果此时动态将线程数量改为4,那么值1和5的Tuple被分配到线程1,值2和6的Tuple被分配到2,值3的Tuple被分配到线程3,值4的Tuple被分配到线程4。
那么由于是在线动态改变的,线程2就可能会有2,5,6值的Tuple,这就导致了数据的不一致。
而在Storm中,不像Hadoop中,很多时候需要调整参数,必须是在线动态的,而不能是离线静态的。
因而,才设置了任务这个层次,这时候,分组根据任务数量来进行分配,Storm中可以动态调整进程数量和线程数量,但是某个单元的任务数量是静态不可动态调整的


参考文献:
[1]:http://blog.csdn.net/dslztx/article/details/46789443
[2]:http://stackoverflow.com/questions/17257448/what-is-the-task-in-storm-parallelism
[3]:http://www.quora.com/What-is-a-task-in-Storm-topology
版权声明:本文为博主原创文章,未经博主允许不得转载。

压缩感知的几点困惑

好久不来了,
  • compression
  • compression
  • 2014年09月02日 14:17
  • 382

2017.06.22:LDA与困惑度代码

LDA代码: class LDAModel(object): def __init__(self, dpre): self.dpre = dpre # 获取预处理参数 # # 模...
  • coco_cai
  • coco_cai
  • 2017年06月22日 11:12
  • 559

学习中的困惑

已经很长时间没有进行更新了,感觉写不出来什么了。这些天一直在反思在学习过程中哪里出现了问题,第一点原因:浮躁。我一天要学习三四个小时,然而总是“看”而未注重“学”,看视频的时候没有做好笔记导致写博客的...
  • Hanfeng_1999
  • Hanfeng_1999
  • 2016年06月01日 16:46
  • 762

吐槽一下,5年的程序员的一些困惑

首先想说下,我喜欢编程。所以我能坚持,每天下班后依然能写各种代码两小时,并且现在在老婆的强制要求下,可以在晚上10点前睡眠。早晨6点起床后,我依然可以拿出一个小时编程。 另外申明下,我并不是单纯的程...
  • bsbsxll
  • bsbsxll
  • 2013年12月16日 10:58
  • 1631

算法训练 Torry的困惑(基本型)

算法训练 Torry的困惑(基本型)   时间限制:1.0s   内存限制:512.0MB      问题描述   Torry从小喜爱数学。一天,老师告诉他,像2、3、...
  • hpugym
  • hpugym
  • 2015年01月13日 22:15
  • 860

工作两年感悟和困惑

不知不觉中,已经工作了两年,看到公司今年新招的应届生,请不禁止的想起了当时的自己。当年意气风发,激情四射,对社会充满着好奇,对工作充满的向往,心里想:终于可以走出大学的象牙塔了,终于可以融入社会,可以...
  • prettyice2005
  • prettyice2005
  • 2013年07月26日 20:17
  • 905

BZOJ 2186 SDOI2008 沙拉公主的困惑 数论

题目大意:给定询问组数T和取模数P,每次询问给定两个整数n和m,求1~(n!)的数中与m!互质的数个个数模P (m 首先T 首先我们知道,若x与y互质,则x+y与y也互质,x+2y与y也互质。。。...
  • PoPoQQQ
  • PoPoQQQ
  • 2014年10月10日 09:28
  • 2609

Torry的困惑(基本型)

问题描述   Torry从小喜爱数学。一天,老师告诉他,像2、3、5、7……这样的数叫做质数。Torry突然想到一个问题,前10、100、1000、10000……个质数的乘积是多少呢?他把这个问题告...
  • YaYan233
  • YaYan233
  • 2017年02月15日 17:31
  • 64

SRILM使用之训练无平滑语言模型

【语料准备】 训练语料wget http://idiom.ucsd.edu/~rlevy/teaching/2015winter/lign165/lectures/lecture13/toy-exa...
  • baiziyuandyufei
  • baiziyuandyufei
  • 2016年08月28日 22:39
  • 445

算法提高 Torry的困惑(提高型)

1010: 算法提高 Torry的困惑(提高型) 时间限制: 1 Sec  内存限制: 512 MB 提交: 25  解决: 4 [提交][状态][讨论版] 题目描述 Torry从小喜爱数学。一天,...
  • xunalove
  • xunalove
  • 2017年01月26日 15:22
  • 951
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:关于Storm的几点困惑释疑
举报原因:
原因补充:

(最多只允许输入30个字)