hadoop
文章平均质量分 81
嘉佑
这个作者很懒,什么都没留下…
展开
-
HADOOP集群搭建过程问题记录
1、问题:虚拟机vm ping不同其他机器 原因:此虚拟机不是新装的,是导入已有的虚拟机文件,原IP地址是6段的,导入的这台机器IP地址是5段,将IP地址改成5段的,解决问题。 2、问题:start-all.sh 启动hadoop时看日志发现报错:org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception: org.ap原创 2016-11-21 10:10:41 · 315 阅读 · 0 评论 -
hadoop中使用 Gzip 压缩格式支持笔记
hadoop中支持的压缩方式有多种,比如Gzip,bzip2,zlib等,其中Gzip是hadoop中内置就支持的一种压缩方式,这种压缩方式在平 时linux 的开发人员和管理 员中使用的比较广泛,压缩比也比较高,压缩速度也还不 错,所以很多人都喜欢第一趋向于使用这种压缩格式进行文 件 的压缩。 在hadoop中,要在mapreduce 的job中使用gzip压缩是比较容易转载 2016-11-21 16:20:13 · 2234 阅读 · 0 评论