Storm精华问答 | 遇到这些错误日志该如何解决?

640?wx_fmt=png

分布式的实时计算系统,能够可信任的处理大量的流式数据,就好比Hadoop对于批量数据进行的处理一样;通常来说,Hadoop能够进行大批量数据的离线处理,但是在实时计算上的表现实在是不尽如人意;而Storm就可以担当这部分的作用。


640?wx_fmt=gif1

Q:在打包toplogy工程的时候,如果采用assembly方式,相关依赖如何配置?


A:对于相关的依赖的配置一般要这样: 640?wx_fmt=png

wiki上说可以用<scope>compile</scope>。然后将storm依赖设置为runtime,貌似不行。 另外就是所有的依赖包将全部解压,然后将所有依赖的配置和class文件生成一个文件。这个是通过<unpack>true</unpack>参数来控制的。


640?wx_fmt=gif2

Q:在提交topology的时候有时可能出现如下异常: 如何解决?640?wx_fmt=png


A:这个主要因为conf_dir路径设置不正确,在bin/storm脚本中需要加上这样一句: Python代码  640?wx_fmt=png


640?wx_fmt=gif3

Q:发布drpc 类型的topologies 到远程集群时,出现空指针异常,连接drpc服务器失败。


A:原因是未正确配置drpc 服务器地址。解决方法如下:

在conf/storm.yaml 文件中增加drpc 服务器配置,启动配置文件中指定的所有drpc 服务。内容如下:640?wx_fmt=png


640?wx_fmt=gif4

Q:客户端调用drpc 服务时,worker 的日志中出现Failing message,而bolt都未收到数据

错误日志如下所示:

640?wx_fmt=png


A:原因是主机名,域名,hosts 文件配置不正确会引起这类错误。解决方法如下:

检查并修改storm 相关机器的主机名,域名,hosts 文件。重启网络服务:service networkrestart。重启storm,再次调用drpc 服务,成功。Hosts 文件中必须包含如下

内容:

640?wx_fmt=png


640?wx_fmt=gif5

Q:Storm 启动时报no jzmq in java.library.path 错误


A:原因是找不到jzmq,默认情况下在执行install_zmq.sh 时,那些.so 文件安装路径在/usr/local/lib,但是实际安装时可能装在其他的路径下了。解决方法如下:

在storm.yaml 中添加:

640?wx_fmt=png


640?wx_fmt=png

小伙伴们冲鸭,后台留言区等着你!

关于Storm,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?快来留言区打卡啦!留言方式:打开第XX天,答:……

同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~


福利

1、扫描添加小编微信,备注“姓名+公司职位”,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!


640?wx_fmt=jpeg

2、公众号后台回复:白皮书,获取IDC最新数据白皮书整理资料!


640?wx_fmt=png


推荐阅读:


640?wx_fmt=png 真香,朕在看了!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值