HBase数据库模型和JAVA API 之间的关系
JAVA 类 | Hbase 数据模型 |
HBaseAdmin | 数据库(database) |
HBaseConfiguration | |
HTable | 表(table) |
HTableDescriptor | 列族(Column Family) |
Put | 行列操作 |
Get | |
Scanner |
HBaseConfiguration
org.apache.hadoop.hbase.HBaseConfiguration
通过此类可以对HBase进行配置
用法实例:
Configuration config = HBaseConfiguration.create();
config.set(“hbase.zookeeper.quorum”,”slave1,slave2,slave3”);
HBaseAdmin admin = newHBaseAdmin(config);
说明: HBaseConfiguration.create() 默认会从classpath 中查找 hbase-site.xml 中的配置信息,初始化 Configuration。
返回值 | 函数 | 描述 |
void | addResource(Path file) | 通过给定的路径所指的文件来添加资源 |
void | clear() | 清空所有已设置的属性 |
string | get(String name) | 获取属性名对应的值 |
String | getBoolean(String name, boolean defaultValue) | 获取为boolean类型的属性值,如果其属性值类型部位boolean,则返回默认属性值 |
void | set(String name, String value) | 通过属性名来设置值 |
void | setBoolean(String name, boolean value) | 设置boolean类型的属性值 |
HBaseAdmin
org.apache.hadoop.hbase.client.HBaseAdmin
提供了一个接口来管理HBase数据库的表信息。它提供的方法包括:创建表,删除表,列出表项,使表有效或无效,以及添加或删除表列族成员等。
返回值 | 函数 | 描述 |
void | addColumn(String tableName, HColumnDescriptor column) | 向一个已经存在的表添加咧 |
checkHBaseAvailable(HBaseConfiguration conf) | 静态函数,查看HBase是否 处于运行状态 | |
createTable(HTableDescriptor desc) | 创建一个表,同步操作 | |
deleteTable(byte[] tableName) | 删除一个已经存在的表 | |
enableTable(byte[] tableName) | 使表处于有效状态 | |
disableTable(byte[] tableName) | 使表处于无效状态 | |
HTableDescriptor[] | listTables() | 列出所有用户控件表项 |
void | modifyTable(byte[] tableName, HTableDescriptor htd) | 修改表的模式,是异步的操作, 可能需要花费一定的时间 |
boolean | tableExists(String tableName) | 检查表是否存在 |
用法示例:
HBaseAdmin admin =new HBaseAdmin(config);
admin.disableTable("tablename");
HTableDescriptor
关系:org.apache.hadoop.hbase.HTableDescriptor
作用:包含了表的名字极其对应表的列族
返回值 | 函数 | 描述 |
void | addFamily(HColumnDescriptor) | 添加一个列族 |
HColumnDescriptor | removeFamily(byte[] column) | 移除一个列族 |
byte[] | getName() | 获取表的名字 |
byte[] | getValue(byte[] key) | 获取属性的值 |
void | setValue(String key, String value) | 设置属性的值 |
用法示例:
HTableDescriptor htd = new HTableDescriptor(table);
htd.addFamily(new HcolumnDescriptor("family"));
HColumnDescriptor
org.apache.hadoop.hbase.HColumnDescriptor
维护着关于列族的信息,例如版本号,压缩设置等。它通常在创建表或者为表添加列族的时候使用。列族被创建后不能直接修改,只能通过删除然后重新创建的方式。列族被删除的时候,列族里面的数据也会同时被删除。
返回值 | 函数 | 描述 |
byte[] | getName() | 获取列族的名字 |
byte[] | getValue(byte[] key) | 获取对应的属性的值 |
void | setValue(String key, String value) | 设置对应属性的值 |
HTableDescriptor htd = new HTableDescriptor(tablename);
HColumnDescriptor col = newHColumnDescriptor("content:");
htd.addFamily(col);
HTable
org.apache.hadoop.hbase.client.HTable
可以用来和HBase表直接通信。此方法对于更新操作来说是非线程安全的。
返回值 | 函数 | 描述 |
void | checkAdnPut(byte[] row, byte[] family, byte[] qualifier, byte[] value, Put put | 自动的检查row/family/qualifier是否与给定的值匹配 |
void | close() | 释放所有的资源或挂起内部缓冲区中的更新 |
Boolean | exists(Get get) | 检查Get实例所指定的值是否存在于HTable的列中 |
Result | get(Get get) | 获取指定行的某些单元格所对应的值 |
byte[][] | getEndKeys() | 获取当前一打开的表每个区域的结束键值 |
ResultScanner | getScanner(byte[] family) | 获取当前给定列族的scanner实例 |
HTableDescriptor | getTableDescriptor() | 获取当前表的HTableDescriptor实例 |
byte[] | getTableName() | 获取表名 |
static boolean | isTableEnabled(HBaseConfiguration conf, String tableName) | 检查表是否有效 |
void | put(Put put) | 向表中添加值 |
用法示例:
HTable table = new HTable(conf, Bytes.toBytes(tablename));
ResultScanner scanner = table.getScanner(family); —family指列族
Put
关系:org.apache.hadoop.hbase.client.Put
作用:用来对单个行执行添加操作
返回值 | 函数 | 描述 |
Put | add(byte[] family, byte[] qualifier, byte[] value) | 将指定的列和对应的值添加到 Put实例中 |
Put | add(byte[] family, byte[] qualifier, long ts, byte[] value) | 将指定的列和对应的值及 时间戳添加到Put实例中 |
byte[] | getRow() | 获取Put实例的行 |
RowLock | getRowLock() | 获取Put实例的行锁 |
long | getTimeStamp() | 获取Put实例的时间戳 |
boolean | isEmpty() | 检查familyMap是否为空 |
Put | setTimeStamp(long timeStamp) | 设置Put实例的时间戳 |
用法示例:
HTable table = new HTable(conf,Bytes.toBytes(tablename));
Put p = new Put(brow);//为指定行创建一个Put操作
p.add(family,qualifier,value);
table.put(p);
Get
关系:org.apache.hadoop.hbase.client.Get
作用:用来获取单个行的相关信息
返回值 | 函数 | 描述 |
Get | addColumn(byte[] family, byte[] qualifier) | 获取指定列族和列修饰符对应的列 |
Get | addFamily(byte[] family) | 通过指定的列族获取其对应列的所有列 |
Get | setTimeRange(long minStamp,long maxStamp) | 获取指定取件的列的版本号 |
Get | setFilter(Filter filter) | 当执行Get操作时设置服务器端的过滤器 |
用法示例:
HTable table = new HTable(conf, Bytes.toBytes(tablename));
Get g = new Get(Bytes.toBytes(row));
Result
关系:org.apache.hadoop.hbase.client.Result
作用:存储Get或者Scan操作后获取表的单行值。使用此类提供的方法可以直接获取值或者各种Map结构(key-value对)
返回值 | 函数 | 描述 |
boolean | containsColumn(byte[] family, byte[] qualifier) | 检查指定的列是否存在 |
NavigableMap<byte[],byte[]> | getFamilyMap(byte[] family) | 获取对应列族所包含的 修饰符与值的键值对 |
byte[] | getValue(byte[] family, byte[] qualifier) | 获取对应列的最新值 |
实例:
Htable table = new Htable(conf,Bytes.toBytes(tablename));
Get g = new Get(Bytes.toBytes(row));
Result rowResult = table.get(g);
Bytes[] ret = rowResult.getValue();
ResultScanner
关系:Interface
作用:客户端获取值的接口
返回值 | 函数 | 描述 |
void | close() | 关闭scanner并释放分配给它的资源 |
Result | next() | 获取下一行的值 |
实例:
ResultScanner scanner = table.getScanner(Bytes.toBytes(family));
for (Result rowResult:sanner)
{
Bytes[] str =rowResult.getValue(family,column);
}
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.MasterNotRunningException;
import org.apache.hadoop.hbase.ZooKeeperConnectionException;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.util.Bytes;
public class HBaseTest {
private HBaseAdmin admin = null;
// 定义配置对象HBaseConfiguration
private HBaseConfiguration cfg = null;
private static Configuration conf = null;
static {
conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum","gpmaster,gpseg");
}
public HBaseTest() throws Exception {
Configuration HBASE_CONFIG = new Configuration();
HBASE_CONFIG.set("hbase.zookeeper.quorum","192.168.1.128");
HBASE_CONFIG.set("hbase.zookeeper.property.clientPort","2181");
cfg = new HBaseConfiguration(HBASE_CONFIG);
admin = new HBaseAdmin(cfg);
}
/**
* create a table
* @param tableName
* @param familys
* @throws Exception
*/
public static void createTable(String tableName,String[] familys) throws Exception
{
@SuppressWarnings("deprecation")
HBaseAdmin admin= new HBaseAdmin(conf);
if(admin.tableExists(tableName)) {
System.out.println("table already exist!");
} else {
HTableDescriptor tableDesc = new HTableDescriptor();
for (int i=0;i < familys.length; i++)
{
tableDesc.addFamily(new HColumnDescriptor(familys[i]));
}
admin.createTable(tableDesc);
System.out.println("createtable " + tableName + " ok.");
}
}
/**
* Delete a table
* @param args
*/
public static void deleteTable(String tableName) throws Exception {
try {
HBaseAdmin admin = new HBaseAdmin(conf);
admin.disableTable(tableName);
admin.deleteTable(tableName);
System.out.println("deletetable " + tableName + " ok.");
} catch(MasterNotRunningException e) {
e.printStackTrace();
} catch (ZooKeeperConnectionExceptione) {
e.printStackTrace();
}
}
/**
* Add a record
* @param args
*/
public static void addRecord(String tableName,String rowKey,String family,String qualifier,String value) throws Exception {
try {
HTable table= new HTable(conf,tableName);
Put put = newPut(Bytes.toBytes(rowKey));
table.put(put);
System.out.println("insert record" + rowKey + " to table " + tableName + " ok.");
} catch(IOException e) {
e.printStackTrace();
}
}
/**
* Delete a record
* @param args
*/
public static void delRecord(String tableName,String rowKey) throws Exception {
HTable table = new HTable(conf,tableName);
List<Delete> list = new ArrayList<Delete>();
Delete del = newDelete(rowKey.getBytes());
list.add(del);
table.delete(list);
System.out.println("del record " + rowKey +" ok.");
}
/**
* Get one record
* @param args
*/
public static void getOneRecord (String tableName, String rowKey) throws Exception {
HTable table = new HTable(conf, tableName);
Get get = new Get(rowKey.getBytes());
Result rs =table.get(get);
for (KeyValue kv : rs.raw()){
System.out.println(new String(kv.getRow()) + " ");
System.out.println(new String(kv.getFamily()) +":");
System.out.println(new String(kv.getQualifier()) + " ");
System.out.println(kv.getTimestamp()+ " ");
System.out.println(new String(kv.getValue()));
}
}
/**
* Get all records
* @param args
*/
public static void getAllRecord(String tableName) {
try {
HTable table = new HTable(conf, tableName);
Scan s = new Scan();
ResultScanner ss = table.getScanner(s);
for (Result r: ss) {
for(KeyValue kv : r.raw()) {
System.out.println(new String(kv.getRow()) + " ");
System.out.println(new String(kv.getFamily()) +":");
System.out.println(new String(kv.getQualifier()) + " ");
System.out.println(kv.getTimestamp()+ " ");
System.out.println(new String(kv.getValue()));
}
}
} catch (Exceptione) {
e.printStackTrace();
}
}
public static void main(String[] args) {
try {
String tableName = "scores";
String[] familys = {"grade", "course"};
// create table
HBaseTest.createTable(tableName,familys);
// add record jsz_pineapple
HBaseTest.addRecord(tableName,"jsz_pineapple", "grade", "", "5");
HBaseTest.addRecord(tableName,"jsz_pineapple", "course", "", "90");
HBaseTest.addRecord(tableName,"jsz_pineapple", "course", "math", "97");
HBaseTest.addRecord(tableName,"jsz_pineapple", "course", "art", "87");
//add record meimei
HBaseTest.addRecord(tableName,"meimei", "grade", "", "4");
HBaseTest.addRecord(tableName,"meimei", "course", "math", "89");
System.out.println("=====get one record=====");
HBaseTest.getOneRecord(tableName,"jsz_pineapple");
System.out.println("=====get all record=====");
HBaseTest.getAllRecord(tableName);
System.out.println("=====del one record=====");
HBaseTest.delRecord(tableName,"meimei");
HBaseTest.getAllRecord(tableName);
System.out.println("=====show all record=====");
HBaseTest.getAllRecord(tableName);
} catch(Exception e) {
e.printStackTrace();
}
}
}