原创 Yarn MapReduce job数与进程数是对应的

是对应的。

原创 HBase数据导入方式

HBase，是一个数据库，是一个存储系统。那数据导入HBase有哪些方式？1、HBase API Put/Get（如Spark Streaming往HBase中写数据）2、bulkload MapReduce3、Sqoop4、Phoenix$PHOENIX_HOME/bin/psql.py -t "ns_1.table_1" -d "|" 3.hadoop.com:2181 /

原创 HBase StoreFile(HFile)

参考urlhttp://hbase.apache.org/0.94/book/regions.arch.html

原创 RegionServer数据本地性

参考urlhttp://hbase.apache.org/0.94/book/regions.arch.html

原创 HBase 分区Region自动转移测试

原创 和社区的issue交流

Kylinhttps://issues.apache.org/jira/browse/KYLIN-1942https://issues.apache.org/jira/browse/KYLIN-1933HBase

原创 SDCC 2016架构峰会（杭州站）

原创 HBase Replication

HBase Replication

原创 Phoenix默认jvm配置

原创 org.apache.commons.codec.binary.Base64与sun.misc.BASE64Encoder等效

import org.apache.commons.codec.binary.Base64; private static void test1() throws Exception { // encode String toBeEncode = "123"; sun.misc.BASE64Encoder encoder = new sun.misc.BASE64Encod

原创 HBase对周边系统的依赖

Zookeeper[zk: 1.hadoop.com:2181,2.hadoop.com:2181(CONNECTED) 0] ls /hbase[meta-region-server, backup-masters, region-in-transition, draining, table, running, table-lock, master, balancer, namespac

原创 HBase读书笔记_HBase The Definitive Guide_第8章

LSM - 解决磁盘随机写问题(顺序写才是王道)；HFile - 解决数据索引问题(只有索引才能高效读)；WAL - 解决数据持久化(面对故障的持久化解决方案)；zooKeeper - 解决核心数据的一致性和集群恢复；Replication - 引入类似MySQL的数据复制方案，解决可用性；此外还有：自动分拆Split、自动压缩(compaction,LSM的伴生技术)

原创 HBase管理 HBase数据备份方式对比

bulkload，会启动MapReduce任务