1.Configuration
在使用Java API时,Client端需要知道HBase的配置环境,如存储地址,zookeeper等信息。这些信息通过Configuration对象来封装,可通过如下代码构建该对象
Configuration config=HBaseConfiguration.create();
在调用HBaseConfiguration.create()方法时,HBase首先会在classpath下查找hbase-site.xml文件,将里面的信息解析出来封装到Configuration对象中,如果hbase-site.xml文件不存在,则使用默认的hbase-core.xml文件。
除了将hbase-site.xml放到classpath下,开发人员还可通过config.set(name, value)方法来手工构建Configuration对象。
Configuration.set(String name, String value)2.HBaseAdmin
HBaseAdmin用于创建数据库表格,并管理表格的元数据信息,通过如下方法构建
HBaseAdmin admin=new HBaseAdmin(config);
常用方法:
addColumn(tableName,column):为表格添加栏位
deleteColumn(tableName,column):删除指定栏位
balanceSwitch(boolean):是否启用负载均衡
createTable(HTableDescriptor desc):创建表格
deleteTable(tableName):删除表格
tableExists(tableName):判断表格是否存在示例:创建test表格,并为其指定columnFamily为cf
- HBaseAdmin admin=new HBaseAdmin(config);
- If(!admin.tableExists(“test”)){
- HTableDescriptor tableDesc=new HTableDescriptor(“test”);
- HColumnDescriptor cf=new HColumnDescriptor(“cf”);
- tableDesc.addFamily(cf);
- admin.createTable(tableDesc);
- }
3.HTable
在HBase中,HTable封装表格对象,对表格的增删改查操作主要通过它来完成,构造方法如下:
HTable table=new HTable(config,tableName);
在构建多个HTable对象时,HBase推荐所有的HTable使用同一个Configuration。这样,HTable之间便可共享HConnection对象、zookeeper信息以及Region地址的缓存信息。
示例1:Get操作
- Get get=new Get(rowKey);
- Result res=table.get(get);
- Put put=new Put(rowKey);
- put.add(columnFamily,column,value);
- table.put(put);
示例3:Delete操作
- Delete delete=new Delete();
- table.delete(delete);
- Scan scan=new Scan( );
- scan.addColumn(columnFamily,column);//指定查询要返回的column
- SingleColumnValueFilter filter=new SingleColumnValueFilter(
- columnFamily,column,//指定要过滤的column
- CompareOp.EQUAL,value//指定过滤条件
- );
- //更多的过滤器信息请查看org.apache.hadoop.hbase.filter包
- scan.setFilter(filter);//为查询指定过滤器
- ResultScanner scanner=table.getScanner(scan);//执行扫描查找
- Iterator<Result> res=scanner.iterator( );//返回查询遍历器
1、 对表的创建、删除、显示以及修改等,可以用HBaseAdmin,一旦创建了表,那么可以通过HTable的实例来访问表,每次可以往表里增加数据。
2、 插入数据
创建一个Put对象,在这个Put对象里可以指定要给哪个列增加数据,以及当前的时间戳等值,然后通过调用HTable.put(Put)来提交操作,子猴在这里提请注意的是:在创建Put对象的时候,你必须指定一个行(Row)值,在构造Put对象的时候作为参数传入。
3、 获取数据
要获取数据,使用Get对象,Get对象同Put对象一样有好几个构造函数,通常在构造的时候传入行值,表示取第几行的数据,通过HTable.get(Get)来调用。
4、 浏览每一行
通过Scan可以对表中的行进行浏览,得到每一行的信息,比如列名,时间戳等,Scan相当于一个游标,通过next()来浏览下一个,通过调用HTable.getScanner(Scan)来返回一个ResultScanner对象。HTable.get(Get)和HTable.getScanner(Scan)都是返回一个Result。Result是一个
KeyValue的链表。
5、 删除
使用Delete来删除记录,通过调用HTable.delete(Delete)来执行删除操作。(注:删除这里有些特别,也就是删除并不是马上将数据从表中删除。)
6、 锁
新增、获取、删除在操作过程中会对所操作的行加一个锁,而浏览却不会。
7、 簇的访问
客户端代码通过ZooKeeper来访问找到簇,也就是说ZooKeeper quorum将被使用,那么相关的类(包)应该在客户端的类(classes)目录下,即客户端一定要找到文件hbase-site.xml。
以下是一个完整的代码示例,基于hbase-0.90.3编写
- import java.io.IOException;
- import java.util.ArrayList;
- import java.util.List;
- import org.apache.hadoop.conf.Configuration;
- import org.apache.hadoop.hbase.HBaseConfiguration;
- import org.apache.hadoop.hbase.HColumnDescriptor;
- import org.apache.hadoop.hbase.HTableDescriptor;
- import org.apache.hadoop.hbase.KeyValue;
- import org.apache.hadoop.hbase.MasterNotRunningException;
- import org.apache.hadoop.hbase.ZooKeeperConnectionException;
- import org.apache.hadoop.hbase.client.Delete;
- import org.apache.hadoop.hbase.client.Get;
- import org.apache.hadoop.hbase.client.HBaseAdmin;
- import org.apache.hadoop.hbase.client.HTable;
- import org.apache.hadoop.hbase.client.Result;
- import org.apache.hadoop.hbase.client.ResultScanner;
- import org.apache.hadoop.hbase.client.Scan;
- import org.apache.hadoop.hbase.client.Put;
- import org.apache.hadoop.hbase.util.Bytes;
- public class HBaseTest {
- private static Configuration conf = null;
- /**
- * 初始化配置
- */
- static {
- Configuration HBASE_CONFIG = new Configuration();
- //与hbase/conf/hbase-site.xml中hbase.zookeeper.quorum配置的值相同
- HBASE_CONFIG.set("hbase.zookeeper.quorum", "10.1.1.1");
- //与hbase/conf/hbase-site.xml中hbase.zookeeper.property.clientPort配置的值相同
- HBASE_CONFIG.set("hbase.zookeeper.property.clientPort", "2181");
- conf = HBaseConfiguration.create(HBASE_CONFIG);
- }
- /**
- * 创建一张表
- */
- public static void creatTable(String tableName, String[] familys) throws Exception {
- HBaseAdmin admin = new HBaseAdmin(conf);
- if (admin.tableExists(tableName)) {
- System.out.println("table already exists!");
- } else {
- HTableDescriptor tableDesc = new HTableDescriptor(tableName);
- for(int i=0; i<familys.length; i++){
- tableDesc.addFamily(new HColumnDescriptor(familys[i]));
- }
- admin.createTable(tableDesc);
- System.out.println("create table " + tableName + " ok.");
- }
- }
- /**
- * 删除表
- */
- public static void deleteTable(String tableName) throws Exception {
- try {
- HBaseAdmin admin = new HBaseAdmin(conf);
- admin.disableTable(tableName);
- admin.deleteTable(tableName);
- System.out.println("delete table " + tableName + " ok.");
- } catch (MasterNotRunningException e) {
- e.printStackTrace();
- } catch (ZooKeeperConnectionException e) {
- e.printStackTrace();
- }
- }
- /**
- * 插入一行记录
- */
- public static void addRecord (String tableName, String rowKey, String family, String qualifier, String value)
- throws Exception{
- try {
- HTable table = new HTable(conf, tableName);
- Put put = new Put(Bytes.toBytes(rowKey));
- put.add(Bytes.toBytes(family),Bytes.toBytes(qualifier),Bytes.toBytes(value));
- table.put(put);
- System.out.println("insert recored " + rowKey + " to table " + tableName +" ok.");
- } catch (IOException e) {
- e.printStackTrace();
- }
- }
- /**
- * 删除一行记录
- */
- public static void delRecord (String tableName, String rowKey) throws IOException{
- HTable table = new HTable(conf, tableName);
- List list = new ArrayList();
- Delete del = new Delete(rowKey.getBytes());
- list.add(del);
- table.delete(list);
- System.out.println("del recored " + rowKey + " ok.");
- }
- /**
- * 查找一行记录
- */
- public static void getOneRecord (String tableName, String rowKey) throws IOException{
- HTable table = new HTable(conf, tableName);
- Get get = new Get(rowKey.getBytes());
- Result rs = table.get(get);
- for(KeyValue kv : rs.raw()){
- System.out.print(new String(kv.getRow()) + " " );
- System.out.print(new String(kv.getFamily()) + ":" );
- System.out.print(new String(kv.getQualifier()) + " " );
- System.out.print(kv.getTimestamp() + " " );
- System.out.println(new String(kv.getValue()));
- }
- }
- /**
- * 显示所有数据
- */
- public static void getAllRecord (String tableName) {
- try{
- HTable table = new HTable(conf, tableName);
- Scan s = new Scan();
- ResultScanner ss = table.getScanner(s);
- for(Result r:ss){
- for(KeyValue kv : r.raw()){
- System.out.print(new String(kv.getRow()) + " ");
- System.out.print(new String(kv.getFamily()) + ":");
- System.out.print(new String(kv.getQualifier()) + " ");
- System.out.print(kv.getTimestamp() + " ");
- System.out.println(new String(kv.getValue()));
- }
- }
- } catch (IOException e){
- e.printStackTrace();
- }
- }
- public static void main (String [] agrs) {
- try {
- String tablename = "scores";
- String[] familys = {"grade", "course"};
- HBaseTest.creatTable(tablename, familys);
- //add record zkb
- HBaseTest.addRecord(tablename,"zkb","grade","","5");
- HBaseTest.addRecord(tablename,"zkb","course","","90");
- HBaseTest.addRecord(tablename,"zkb","course","math","97");
- HBaseTest.addRecord(tablename,"zkb","course","art","87");
- //add record baoniu
- HBaseTest.addRecord(tablename,"baoniu","grade","","4");
- HBaseTest.addRecord(tablename,"baoniu","course","math","89");
- System.out.println("===========get one record========");
- HBaseTest.getOneRecord(tablename, "zkb");
- System.out.println("===========show all record========");
- HBaseTest.getAllRecord(tablename);
- System.out.println("===========del one record========");
- HBaseTest.delRecord(tablename, "baoniu");
- HBaseTest.getAllRecord(tablename);
- System.out.println("===========show all record========");
- HBaseTest.getAllRecord(tablename);
- } catch (Exception e) {
- e.printStackTrace();
- }
- }
- }
1.程序编译为一个jar包hbtest.jar
2.写个shell 脚本:(hbtest.sh)
- #!/bin/sh
- source ~/.bash_profile
- export HADOOP_CLASSPATH=/home/liliugen/hadoop-0.20.2/hadoop-core-0.20.2-cdh3u0.jar:/home/liliugen/hbase-0.90.1/hbase-0.90.1-cdh3u0.jar:/home/liliugen/zookeeper-3.3.3/zookeeper-3.3.3.jar
- /home/liliugen/hadoop-0.20.2/bin/hadoop jar hbtest.jar hbase.HBaseTest