storm常见问题及解决方法收集【持续更新中】

原创 2013年12月02日 12:02:48

以下是对个人在使用Storm过程中遇到的一些常见问题及解决方法的整理,其中部分问题的解决方法来自于网络,由于已找不到原始链接,抱歉这里没有逐一列举。

1. 发布topologies到远程集群时,出现Nimbus host is not set异常

原因是Nimbus没有被正确启动起来,可能是storm.yaml文件没有配置,或者配置有问题。

解决方法:打开storm.yaml文件正确配置:nimbus.host: "xxx.xxx.xxx.xxx",重启nimbus后台程序即可。

 2. 发布topologies到远程集群时,出现AlreadyAliveException(msg: xxx is already active)异常

原因是提供的topology与已经在运行的topology重名。

解决方法:发布时换一个拓扑名称即可。

3. 启动Supervisor时,出现java.lang.UnsatisfiedLinkError: /usr/local/lib/libjzmq.so.0.0.0: libzmq.so.1: cannot open shared object file: No such file or directory异常

原因是未找到zmq动态链接库。

解决方法1:export LD_LIBRARY_PATH=/usr/local/lib

解决方法2:编辑/etc/ld.so.conf文件,增加一行:/usr/local/lib。再执行sudo ldconfig命令,重启Supervisor。

4. 发布drpc类型的topologies到远程集群时,出现空指针异常,连接drpc服务器失败

原因是未正确配置drpc服务器地址。

解决方法:在conf/storm.yaml文件中增加drpc服务器配置,启动配置文件中指定的所有drpc服务。内容如下:

drpc.servers:

  - "drpc服务器ip"

5. 客户端调用drpc服务时,worker的日志中出现Failing message,而bolt都未收到数据

错误日志如下所示:

2011-12-02 09:59:16 task [INFO] Failing message backtype.storm.drpc.DRPCSpout$DRPCMessageId@3770bdf7: source: 1:27, stream: 1, id: {-5919451531315711689=-5919451531315711689}, [foo.com/blog/1, {"port":3772,"id":"5","host":"10.0.0.24"}]

解决方法:主机名,域名,hosts文件配置不正确会引起这类错误。检查并修改storm相关机器的主机名,域名,hosts文件。重启网络服务:service network restart。重启storm,再次调用drpc服务,成功。Hosts文件中必须包含如下内容:

[nimbus主机ip] [nimbus主机名] [nimbus主机别名]

[supervisor主机ip] [supervisor主机名] [supervisor主机别名]

[zookeeper主机ip] [zookeeper主机名] [zookeeper主机别名]

6. 发布topologies时,出现不能序列化log4j.Logger的异常

原因是日志系统无法正确支付序列化。

解决方法:使用slf4j代替log4j。

7. bolt在处理消息时,worker的日志中出现Failing message

原因可能是因为Topology的消息处理超时所致。

解决方法:提交Topology时设置适当的消息超时时间,比默认消息超时时间(30秒)更长。

conf.setMessageTimeoutSecs(60);

8. storm启动时报no jzmq in java.library.path错误

原因是找不到jzmq,默认情况下在执行install_zmq.sh时,那些 .so 文件安装路径在/usr/local/lib,但是实际安装时可能装在其他的路径下了。

解决方法:在storm.yaml中添加:

java.library.path: "/opt/storm/jzmq/lib:/opt/storm/zeromq/lib:/usr/local/lib:/opt/local/lib:/usr/lib"

9. 安装jzmq时遇到No rule to make target `classdist_noinst.stamp'的make错误

具体的make错误信息:

make[1]: *** No rule to make target `classdist_noinst.stamp', 
needed by `org/zeromq/ZMQ.class'. Stop.

解决方法:手动创建classdist_noinst.stamp空文件。

touch src/classdist_noinst.stamp

10. 安装jzmq时遇到cannot access org.zeromq.ZMQ的make错误

具体的make错误信息:

error: cannot access org.zeromq.ZMQ 
class file for org.zeromq.ZMQ not found 
javadoc: error - Class org.zeromq.ZMQ not found.

解决方法:手动编译,然后重新make即可通过。

cd src 
javac -d . org/zeromq/*.java 
cd ..

Storm常见问题及解决方法收集【持续更新中】

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/2...
  • lulongzhou_llz
  • lulongzhou_llz
  • 2015年06月09日 23:07
  • 1175

Storm常见问题及解决方法收集

以下是对个人在使用Storm过程中遇到的一些常见问题及解决方法的整理,其中部分问题的解决方法来自于网络,由于已找不到原始链接,抱歉这里没有逐一列举。 1. 发布topologies到远程集群时,出现...
  • oHouQiZhiXiu
  • oHouQiZhiXiu
  • 2015年01月12日 21:30
  • 261

项目实施的问题与解决

        我在网上看了不少项目实施困难,但是我看到的是理论上解决问题,没有在实际上如何解决,下面我从实际的角度来阐述。        我们顾且先不要理会大型项目的实施,先从小的项目,从小项目着手...
  • fstao
  • fstao
  • 2008年02月12日 14:15
  • 3562

html中一些常见问题的解决方法

扯扯淡:第一次写博客,最近在学习html5,把遇到的坑记录下来,一是能加深一下印象,二能帮助一下遇到相同坑的童鞋,三能锻炼自己的表达能力,一举三得,哈哈,如有错误欢迎批评指正......... ...
  • qq289223562
  • qq289223562
  • 2016年10月13日 22:47
  • 589

WZ机器学习面试准备

WZ:模型评估、十个文档每个一类、文本特征筛选、文本数量大(多分类器),词汇量大怎么处理 1.模型评估方式有哪些? 准确率(交叉验证)、召回率、ROC、auc、 Mean squared err...
  • ztf312
  • ztf312
  • 2016年10月12日 00:22
  • 309

jsp常见错误及解决方法

仅供参考 1 临时应答1xx 临时应答,也就是消息性质的应答,标志了对方服务器正在处理请求,并且还没有决定最后的应答。如果服务器处理请求需要花200ms以上才能产生终结应答的时候,它应当发送一个1...
  • dengliushuai
  • dengliushuai
  • 2017年03月18日 19:43
  • 174

Hexo 常见问题收集(持续更新)

自己碰到的各种错误和解决方法,都收集在这里 目前有点少,但会持续更新 善用搜索功能(Ctrl + F) CSDN 不定周期更新(我懒),这是原文 SSH Keys 与 项目错误(Please ...
  • XcantloadX
  • XcantloadX
  • 2018年01月31日 12:55
  • 38

项目交付中遇到的问题及解决方案

遇到的紧急事件: Q:  1. 突然需要交付单元测试用例和单元测试报告; 2. 需要交付接口测试用例和接口测试报告; 3. 平时测试没有维护过用例,造成交付时时间紧急,不能及时交付; 4. ...
  • jerrygirl
  • jerrygirl
  • 2017年08月24日 15:10
  • 228

WEB开发过程中遇到的各种问题及解决方法总结

Q:The user specified as a definer ('root'@'%') does not exist A:只要给root用户再添加一个对全部host都有可以访问的权限  ...
  • happyflyingave
  • happyflyingave
  • 2014年05月06日 08:59
  • 3513

Storm常见问题及解决方案总结

Storm 是一个开源的、大数据处理系统,与其他大数据解决方案的不同之处在于它的处理方式。Hadoop 在本质上是一个批处理系统。数据被引入 Hadoop 文件系统 (HDFS) 并分发到各个节点进行...
  • afreon
  • afreon
  • 2015年07月13日 00:58
  • 1893
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:storm常见问题及解决方法收集【持续更新中】
举报原因:
原因补充:

(最多只允许输入30个字)