hadoop
槿之
思考可以编织世界,编码能够增彩世界!
展开
-
hadoop hdfs datanode 数据迁移
定位思路 先将集群停止,然后准备好新的存储目录,再将数据复制到新的目录中,重启集群。处理步骤 假设HDFS的默认安装目录为“/dfs/dn”,需要移动目录到“/home/dfs/dn”中。 1.登录cdh manager,停止hdfs集群 2.在home目录下创建 dfs/dn 目录 cd /home ...原创 2018-09-18 16:28:37 · 3840 阅读 · 1 评论 -
hadoop hdfs 文件解压缩 lzo gzip格式
hadoop hdfs 文件解压缩 lzo gzip格式代码如下代码如下// An highlighted blockpackage com.mystery.learn.hadoop;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.i...原创 2018-10-17 17:52:00 · 4082 阅读 · 0 评论 -
HADOOP与HDFS数据压缩格式
HADOOP与HDFS数据压缩格式1、cloudera 数据压缩的一般准则一般准则是否压缩数据以及使用何种压缩格式对性能具有重要的影响。在数据压缩上,需要考虑的最重要的两个方面是 MapReduce 作业和存储在 HBase 中的数据。在大多数情况下,每个的原则都类似。 您需要平衡压缩和解压缩数据所需的能力、读写数据所需的磁盘 IO,以及在网络中发送数据所需的网络带宽。正确平衡这些...转载 2018-10-17 18:20:11 · 2763 阅读 · 0 评论