安金龙的修炼之路

Life is too short, don’t live the same day twice.

HDFS 写流程

待写,敬请期待

2017-07-10 21:30:02

阅读数 314

评论数 0

hadoop HDFS Federation

参考文档:http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/Federation.html

2017-07-10 21:28:35

阅读数 268

评论数 0

Hadoop partitioner及自定义partitioner

一、hadoop partitioner 所有partitioner都继承自抽象类Partitioner ,实现getPartition(KEY var1, VALUE var2, int var3),hadoop自带的partitioner有: (1)TotalOrderPartitioner...

2017-07-10 21:06:07

阅读数 378

评论数 0

Hadoop MapReduce 修改输出文件名 MultipleOutputs

需求:修改mapreduce的输出文件名称 为自己想要的名字 工具:MultipleOutputs 默认文件名:part-r-xxx 或者000178_0 修改后为: 自定义名字-r-xxx 后边的r-xxx还没有去掉 主要流程: 声明 multipleOutputs 在setup方法中初始化...

2017-07-07 22:45:49

阅读数 1649

评论数 0

HBase源码分析 -- HBase Region 拆分(split)

代码版本:hbase-1.2.6 工程:hbase-server 类:org.apache.hadoop.hbase.regionserver.HRegion 1、判断是否需要切分 方法: checkSplit 返回值: splitpoint 做了一些判断后,其实是调用: byte[] ret...

2017-07-01 23:34:02

阅读数 548

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭