hadoop运行案例

运行一个example

[hadoop@hadoop01 hadoop]$ hadoop jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 5 10

运行的过程中报错

然后去查看jobhistory

发现以下错误

Error: java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support

 

错误解析：不支持snappy格式的压缩

解决方法：

解决问题需要编译好的支持本格式的压缩的hadoop组件，但是我们的hadoop是从网上下载的，并没有这种组件，所以这种方法是行不通的。

但是我们可以通过对参数的配置的改变来解决这个问题

首先我们是跑mr报错，所以考虑配置更改是要考虑mapred-site.xml，打开以后把以下这段红框里的内容删掉就可以了

 考虑完mr的配置文件，再考虑一下公共的文件配置，core-site.xml文件里边的配置也要看一下，以下是相关内容，红框里的内容也需要删掉

 

以上步骤都操作完了，再重新启动集群，重新跑一次，这时候就OK啦！！！开森！！！，

开森完继续思考一下

为什么要使用这个压缩格式呢？

因为可以减少map的磁盘io

我们通过hadoop checknative来查看当前我们的hadoop版本支持什么压缩格式。

可以发现红框里的几种压缩格式都是不支持的。

 

转载于:https://www.cnblogs.com/xuziyu/p/10673855.html