架构师思考实践

工作中要使用HBase，刚刚开始接触HBase，理解不深，只是记录一下 。HBase基于google的bigtable论文实现，属于nosql。        几个概念：（1）列（column）：最基本单位为列（column）（2）行健（row key）：一列或多列形成一行，并有唯一的行健来确定存储（3）列族（column family）：一行由若干列组成，若干列又构成一个列族

启动错误2013-12-29 17:42:22,025 INFO org.apache.zookeeper.ClientCnxn: Opening socket connection to server xxxxx:2222. Will not attempt to authenticate using SASL (无法定位登录配置)分析：是由于zookeeper连接的问题，我

前言安装前需要的条件，使用过hadoop的，基本不需要改什么了：1、java环境2、hadoop（HBase基于HDFS）3、zookeeper（我这里使用独立的zookeeper，因为之前用过已装好，当然亦可以使用HBase管理zookeeper）4、SSH，NTP时间同步5、系统调优，这个可以等安装完后改，文件打开数（ulimit和nproc）6、修改Hadoop

先拿来，测试一下1. 修改HDFSS设置vi conf/hdfs-site.xml增加下面的设置,HBASE需要访问大量的文件dfs.datanode.max.xcievers40962. 设置NTP同步rpm -qa |grep ntpmaster用缺省配置slaves:vi /etc/ntp.confserver 192.

【编者按】要使用Hadoop，数据合并至关重要，HBase应用甚广。一般而言，需要 针对不同情景模式将现有的各种类型的数据库或数据文件中的数据转入至HBase 中。常见方式为：使用HBase的API中的Put方法； 使用HBase 的bulk load 工具；使用定制的MapReduce Job方式。《HBase Administration Cookbook》一书对这三种方式有着详尽描述，由

直接贴代码啦/** * * @param zkIp * @param zkPort * @param tablename * @param startRow 传null扫全表 * @param stopRow 已~结尾 * @throws Exception */ public static void scanTable(String zkIp,Stri

由于hadoop做了HA，namenode可能进行切换，hbase中的配置要做修改：hbase-site.xml中，rootdir改为和hadoop的dfs.nameservices一样，并将hadoop的core-site.xml和hdfs-site.xml拷贝到hbase的conf下，然后重启hbasehbase.rootdirhdfs://masters/hbase

代码版本：hbase-1.2.6工程：hbase-server类：org.apache.hadoop.hbase.regionserver.HRegion1、判断是否需要切分方法： checkSplit返回值： splitpoint做了一些判断后，其实是调用:byte[] ret = splitPolicy.getSplitPoint();2、切分策略o