关注大数据~

最近又翻回头看了看hbase cp相关的东西，就思考写一个实例，其中包含masterobserver、regionobserver和endpoint。最终大致定了这么一些场景： 对于表名符合相关规则的表在建表的同时再建一个与之相关的sibling table； 自定义InternalPut，只允许使用InternalPut来插入数据，并且给该InternalPut增加一个名为heapsiz

hbase bulkload主要涉及的类有这么几个： HFileOutputFormat LoadIncrementablHFile PutSortReducer KeyValueSortReducer SimpleTotalOrderPartitioner TotalOrderPartitioner 前两个比较重要，特别是HFileOutputFormat中的public st

PutSortReducer： // 对map阶段传递过来的puts中的KVs做排序，并将有序的KVs写到输出流(最终写的类是HFileWriterV1或HFileWriterV2的append方法)... public class PutSortReducer extends Reducer { @Override protected void reduce(ImmutableByt

很早就知道bulk load这个东西，也大致都清楚怎么回事，居然直到前几天才第一次实践...  这篇文章大致分为三个部分： 1. 使用hbase自带的importtsv工具 2. 自己实现写mr生成hfile并加载 3. bulk load本身及对依赖的第三方包的一些总结 第一部分： 导入的文件是data.txt，符合tsv格式，如下： 做一些准备工作： a. 在hdfs上