前面提到了部署Hadoop的集群环境,因为我们需要用到HDFS,将Storm过来的数据离线存入到HDFS中,然后使用Hadoop从HDFS中取数据进行分析处理。
于是乎我们需要整合Storm-HDFS,在整合过程中遇到了许多问题,有的问题可以在网上找到,但是解决方法不一定实用,于是这里分享出来,以便自己学习,同时也为同样遇到相同问题处于困惑中的伙伴提供解决方法。
首先, 整合Storm-HDFS,需要编写拓扑结构(topology),然后放到Strom上去运行,这里源代码,我参考的是http://shiyanjun.cn/archives/934.html
然后我打包部署到Storm上去,部署倒是成功了,可以查看Storm的ui发现报错了,于是查询从机日志发现报如下错误:
2015-11-13T15:58:13.119+0800 b.s.util [ERROR] Async loop died!
java.lang.RuntimeException: Error preparing HdfsBolt: No FileSystem for scheme: hdfs
at org.apache.storm.hdfs.bolt.AbstractHdfsBolt.prepare(AbstractHdfsBolt.java:109) ~[stormjar.jar:na]
at backtype.storm.daemon.executor$fn__4722$fn__4734.invoke(executor.clj:692) ~[storm-core-0.9.4.jar:0.9.4]
at backtype.storm.util$async_loop$fn__458.invoke(util.clj:461) ~[storm-core-0.9.4.jar:0.9.4]
at clojure.lang.AFn.run(AFn.java:24) [clojure-1.5.1.jar:na]
at java.lang.Thread.run(Thread.java:745) [na:1.7.0_71]
Caused by: java.io.IOException: No FileSystem for scheme: hdfs
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421) ~[stormjar.jar:na]
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2428) ~[stormjar.jar:na]
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:88) ~[stormjar.jar:na]
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2467) ~[stormjar.jar:na]
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2449) ~[stormjar.jar:na]
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:367) ~[stormjar.jar:na]
at org.apache.storm.hdfs.bolt.HdfsBolt.doPrepare(HdfsBolt.java:86) ~[stormjar.jar:na]
at org.apache.storm.hdfs.bolt.AbstractHdfsBolt.prepare(AbstractHdfsBolt.java:105) ~[stormjar.jar:na]
... 4 common frames omitted
2015-11-13T15:58:13.120+0800 b.s.d.executor [ERROR]
java.lang.RuntimeException: Error preparing HdfsBolt: No FileSystem for scheme: hdfs
at org.apache.storm.hdfs.bolt.AbstractHdfsBolt.prepare(AbstractHdfsBolt.java:109) ~[stormjar.jar:na]
at backtype.storm.daemon.executor$fn__4722$fn__4734.invoke(executor.clj:692) ~[storm-core-0.9.4.jar:0.9.4]
at backtype.storm.util$async_loop$fn__458.invoke(util.clj:461) ~[storm-core-0.9.4.jar:0.9.4]
at clojure.lang.AFn.run(AFn.java:24) [clojure-1.5.1.jar:na]
at java.lang.Thread.run(Thread.java:745) [na:1.7.0_71]
Caused by: java.io.IOException: No FileSystem for scheme: hdfs
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421) ~[stormjar.jar:na]
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2428) ~[stormjar.jar:na]
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:88) ~[stormjar.jar:na]
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2467) ~[stormjar.jar:na]
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2449) ~[stormjar.jar:na]
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:367) ~[stormjar.jar:na]
at org.apache.storm.hdfs.bolt.HdfsBolt.doPrepare(HdfsBolt.java:86) ~[stormjar.jar:na]
at org.apache.storm.hdfs.bolt.AbstractHdfsBolt.prepare(AbstractHdfsBolt.java:105) ~[stormjar.jar:na]
... 4 common frames omitted
2015-11-13T15:58:13.194+0800 b.s.util [ERROR] Halting process: ("Worker died")
java.lang.RuntimeException: ("Worker died")