[1]Strom Bug Fix: DRPC topology setNumWorkers()

原创 2013年12月02日 10:44:44

原创文章,欢迎转载。转载请注明出处:http://blog.csdn.net/jmppok/article/details/17068253

1.问题描述

在使用Storm时遇到问题:

      在将一个DRPC的Topology提交到Strom的cluster中时,在Config中如果设置worker num 大于1:

		  Config conf = new Config();
		  conf.setDebug(true);
		  conf.setNumWorkers(3);

topology提交后不能运行,也无法通过DRPCClient访问。setNumWorkers(1)或者不设置则正常。

2.goole结果

google之,发现有人遇到的同样的问题:https://groups.google.com/forum/#!topic/storm-user/iny-9QHIhDw

感兴趣的可查看该链接获取详细信息 ,下面只是一个简单的问题描述。



3.解决办法

查了很多资料,没有找到很明确的说明。

偶然间看到一个engineer说这个可能不是storm的问题,而是集群节点本身的配置有问题。

经过观察Storm的UI,发现上面显示的supervisor的主机名全部显示为localhost。

报着尝试的心态修改了/etc/hosts文件。

添加了

127.0.0.1               本机名

这样一条记录。

本来默认的是127.0.0.1        localhost  (ubuntu 12.04)。

修改storm集群中所有的node配置,zookeeper、nimbus和supervisor,重新启动集群。

重试后OK。

  

【Storm总结-2】关于Storm 中Topology的并发度的理解

主要思想来源于storm的项目页面: https://github.com/nathanmarz/storm/wiki/Understanding-the-parallelism-of-a-Storm...
  • derekjiang
  • derekjiang
  • 2013年06月06日 17:05
  • 15778

strom及DRPC性能测试与改进

针对不同大小的数据,对Storm中DRPC延迟进行测试。同时提出了一些改进方法。...
  • jmppok
  • jmppok
  • 2014年01月10日 15:26
  • 3068

storm文档(8)----配置文件说明

转载请注明出处: 源地址:http://storm.apache.org/documentation/Configuration.html   storm由丰富的configure选项, 用来调整ni...
  • beitiandijun
  • beitiandijun
  • 2014年11月27日 15:53
  • 11527

Storm一个Topology中提供drpc和计算功能

本文主要介绍在storm中如何组件drpc和计算同时存在的多功能Topology编写,如何组件storm复杂的计算结构,包括其中应该注意的一些问题。...
  • qw414499267
  • qw414499267
  • 2015年04月24日 14:17
  • 574

Storm的并行度详解 Strom Topology执行分析:worker数,Bolt实例数,executor数,task数

Storm的并行度详解 Storm的并行度是非常重要的,通过提高并行度可以提高storm程序的计算能力。 那strom是如何提高并行度的呢? Strom程序的执行是由多个su...
  • qq_36864672
  • qq_36864672
  • 2017年12月13日 21:07
  • 70

Strom Topology执行分析:worker数,Bolt实例数,executor数,task数

问题导读: 1.什么是Topology? 2.如何创建Topology? 3.Topology的worker数由谁来配置? 4.Topology中某个bolt的executor数由谁来指定? ...
  • xuefengmiao
  • xuefengmiao
  • 2014年05月03日 09:26
  • 386

codebook for bug fix

  • 2010年04月27日 04:58
  • 1.78MB
  • 下载

eclipse oxygen 4.7.0 bug 518987 fix

  • 2017年09月11日 14:58
  • 615KB
  • 下载

IE 常见bug 及其fix

  • 2013年03月25日 14:00
  • 244KB
  • 下载

delphi2005 IDE UPDATE FIX BUG 2005-9-24

  • 2006年02月23日 15:31
  • 2.36MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:[1]Strom Bug Fix: DRPC topology setNumWorkers()
举报原因:
原因补充:

(最多只允许输入30个字)