背景
CentOS7.5中三台机器(hadoop102、hadoop103、hadoop104)的hadoop集群
问题描述
hadoop采取lzo压缩,将相关jar包上传至hadoop-3.1.3/share/hadoop/common文件下后,再配置core-site.xml参数,后续测试
压缩发送错误
报错代码
java.lang.IllegalArgumentException: Compression codec
org.apache.hadoop.io.compress.GzipCodec not found.
Caused by: java.lang.ClassNotFoundException:
Class org.apache.hadoop.io.compress.GzipCodec not found
产生原因
对io.compression.codecs参数的value使用了空格,换行等等
解决方案
将空格或者是换行全部删除,改成如下:
<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value>
我是dyson不只是吹风机,若是对大数据-数据仓库技术感兴趣的可以加我沟通交流,一起进步。VX:daijun1211
ps:若文章侵权、触犯隐私请联系作者删除,谢谢~~