2014年05月_xiao_jun_0820

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 SequenceFile 读写操作

import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.io.SequenceFile;import org.ap

2014-05-30 20:45:23 12536 2

原创 hbase 自定义 endpoint coprocessor

hbase 自带的AggregationClient只能对单一列族的单一列进行

2014-05-27 22:15:26 4787 6

转载 MapReduce生成HFile入库到HBase

原文：http://shitouer.cn/2013/02/hbase-hfile-bulk-load/ 一、这种方式有很多的优点：1. 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源，一个比较高效便捷的方法就是使用 “Bulk Loading”方法，即HBase提供的HFileOutputFormat类。2. 它是利用hbase的数据信息按照特

2014-05-23 15:23:37 2798

转载深入理解HBase Memstore

MemStore是HBase非常重要的组成部分，深入理解MemStore的运行机制、工作原理、相关配置，对HBase集群管理以及性能调优有非常重要的帮助。HBase Memstore首先通过简单介绍HBase的读写过程来理解一下MemStore到底是什么，在何处发挥作用，如何使用到以及为什么要用MemStore。图一：Memstore Usage in HBase Read/Wri

2014-05-22 13:42:23 4055

原创用maven导出依赖jar

mvn dependency:copy-dependencies -DoutputDirectory=lib -DincludeScope=compile 将jar包都会copy到工程目录下的lib里面

2014-05-21 10:05:42 1787

原创 java 远程调用shell脚本demo

首先添加依赖： org.jvnet.hudson ganymed-ssh2 build210-hudson-1

2014-05-19 15:48:29 17304 3

原创 protobuf 使用相关

google protobuf的介绍和使用官方地址为：https://developers.google.com/protocol-buffers/

2014-05-15 10:20:28 6816 1

原创关于AggregationClient 除了rowCount以外的其他聚合函数抛空指针异常的解释

今天测试使用AggregationClient来统计最大最小年龄，结果返回

2014-05-13 17:38:08 3156 1

转载 HBase数据查询之Coprocessor

原文：http://lookqlp.iteye.com/blog/1993058二级索引方案协处理器的概念、作用和类型不介绍，可以参看：http://www.cnblogs.com/ventlam/archive/2012/10/30/2747024.html，官方blog：https://blogs.apache.org/hbase/entry/coprocessor_int

2014-05-13 14:08:48 3346

转载 hbase的CoprocessorProtocol及一个简单的通用扩展实现

原文：http://zhang-xzhi-xjtu.iteye.com/blog/1926732hbase中的CoprocessorProtocol机制. CoprocessorProtocol的原理比较简单，近似于一个mapreduce框架。由client将scan分解为面向多个region的请求，并行发送请求到多个region，然后client做一个reduce的操作，得到最后的结

2014-05-13 10:42:53 2625 2

原创 org.apache.hadoop.hbase.coprocessor.AggregateImplementation 来统计表的行数

hbase自带了一个juhorg.apache.hadoop.hbase.coprocessor.AggregateImplementation

2014-05-09 17:32:48 6149 1

原创 hbase merge regions

今天对一个表进行预分区然后导入数据

2014-05-09 17:20:29 4210

转载常用HBase启动脚本

常用到的HBase启动脚本有：1.$HBASE_HOME/bin/start-hbase.sh启动整个集群2.$HBASE_HOME/bin/stop-hbase.sh停止整个集群3.$HBASE_HOME/bin/hbase-daemons.sh启动或停止，所有的regionserver或zookeeper或backup-master4.$HB

2014-05-09 17:14:25 943

原创编译CDH4.2.2源码

centos 6.3 32位操作系统1 mvn,jdk具体安装此处不细说了，重点介绍编译hadoop源码相关 Native librariesOn Linux, you need the tools to create the native libraries. For RHEL (and hence also CentOS): 需要先执行：yum -y install

2014-05-06 09:45:37 908