如何使用Java连接HBase数据库

如何使用Java连接HBase数据库

Java连接HBase需要两个类：

• HBaseConfiguration
• ConnectionFactory

HBaseConfiguration

要连接HBase我们首先需要创建Configuration对象，这个对象我们需要通过HBaseConfiguration（HBase配置）对象来进行创建，HBaseConfiguration看名字我们就能猜到它的用途：读取指定路径下hbase-site.xml和hbase-default.xml的配置信息。

具体用法：

1.  Configuration config = HBaseConfiguration.create(); //使用create()静态方法就可以得到Configuration对象

ConnectionFactory

获取到连接对象Connextion我们就算连接上了HBase了，怎么获取呢？

通过ConnectionFactory（连接工厂）的方法我们就能获取到Connection（连接对象）了。

具体用法：

1. Connection connection = ConnectionFactory.createConnection(config); //config为前文的配置对象

使用这两个步骤就能完成连接HBase了。

注意：在1.0之前的版本HBase是使用HBaseAdmin和HTable等来操作HBase的，但是在1.0之后的版本中这些被弃用了，新的客户端API更加干净简洁，本文使用的HBase是2.1.1版本（18年10月发布）的，

创建表

要创建表我们需要首先创建一个Admin对象，然后让它来创建一张表：

1. Admin admin = connection.getAdmin(); //使用连接对象获取Admin对象
2. TableName tableName = TableName.valueOf("test");//定义表名
4. HTableDescriptor htd = new HTableDescriptor(tableName);//定义表对象
6. HColumnDescriptor hcd = new HColumnDescriptor("data");//定义列族对象
8. htd.addFamily(hcd); //添加
10. admin.createTable(htd);//创建表

HBase2.X创建表

上述创建表的方法是HBase1.X版本的方式，而在HBase2.X的版本中创建表使用了新的API，创建表关键代码如下：

1. TableName tableName = TableName.valueOf("test");//定义表名
2. //TableDescriptor对象通过TableDescriptorBuilder构建；
3. TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tableName);
4. ColumnFamilyDescriptor family = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("data")).build();//构建列族对象
5. tableDescriptor.setColumnFamily(family);//设置列族
6. admin.createTable(tableDescriptor.build());//创建表

在2.X版本中主要是HTableDescriptor对象被弃用，取而代之的是TableDescriptor对象，TableDescriptor对象通过TableDescriptorBuilder构建；

1. TableName tableName = TableName.valueOf("test");
2. TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tableName);

然后添加列簇方法变更：

1. ColumnFamilyDescriptor family = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("data")).build();//构建列族对象
2. tableDescriptor.setColumnFamily(family);        //设置列族

最后由Admin对象进行创建表操作：

1. admin.createTable(tableDescriptor.build());

值得咱们注意的是，如果你的HBase环境是1.X的那么你只能使用第一种方式来创建表，如果是2.X的版本，那么两种方式你都可以使用（本实训使用的 HBase是2.1.1版本，所以两种都可用）

HBase创建表示例

请你编写一个Java程序，在HBase中创建表dept,emp，列都为：data。

1. package step1;
3. import java.io.IOException;
4. import org.apache.hadoop.conf.Configuration;
5. import org.apache.hadoop.hbase.HBaseConfiguration;
6. import org.apache.hadoop.hbase.HColumnDescriptor;
7. import org.apache.hadoop.hbase.HTableDescriptor;
8. import org.apache.hadoop.hbase.TableName;
9. import org.apache.hadoop.hbase.client.Admin;
10. import org.apache.hadoop.hbase.client.ColumnFamilyDescriptor;
11. import org.apache.hadoop.hbase.client.ColumnFamilyDescriptorBuilder;
12. import org.apache.hadoop.hbase.client.Connection;
13. import org.apache.hadoop.hbase.client.ConnectionFactory;
14. import org.apache.hadoop.hbase.client.Get;
15. import org.apache.hadoop.hbase.client.Put;
16. import org.apache.hadoop.hbase.client.Result;
17. import org.apache.hadoop.hbase.client.ResultScanner;
18. import org.apache.hadoop.hbase.client.Scan;
19. import org.apache.hadoop.hbase.client.Table;
20. import org.apache.hadoop.hbase.client.TableDescriptor;
21. import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
22. import org.apache.hadoop.hbase.util.Bytes;
24. public class Task{
25.     
26.     public void createTable()throws Exception{
27.         /********* Begin *********/
28.         Configuration config = HBaseConfiguration.create(); //使用create()静态方法就可以得到Configuration对象
29.         Connection connection = ConnectionFactory.createConnection(config); //config为前文的配置对象
30.         try{
31.             Admin admin = connection.getAdmin();
32.             try{
33.                 TableName tableName = TableName.valueOf("dept");
34.                 TableDescriptorBuilder  tableDescriptor = TableDescriptorBuilder.newBuilder(tableName);
35.                 ColumnFamilyDescriptor family = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("data")).build();
36.                 tableDescriptor.setColumnFamily(family);
37.                 admin.createTable(tableDescriptor.build());
39.                 TableName emp = TableName.valueOf("emp");
40.                 TableDescriptorBuilder emptableDescriptor = TableDescriptorBuilder.newBuilder(emp);
41.                 ColumnFamilyDescriptor empfamily = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("data")).build();
42.                 emptableDescriptor.setColumnFamily(empfamily);
44.                 admin.createTable(emptableDescriptor.build());
45.             }finally{
46.                 admin.close();
47.             }
48.             
49.         }finally{
50.             connection.close();
51.         }
56.         /********* End *********/
57.     }
58. }

添加数据

要对一个表添加数据，我们需要一个Put对象，在定义Put对象之前我们需要获取到Table对象，这样才能对指定的表进行操作：

1. Table table = connection.getTable(tableName);//获取Table对象
2. try {
3.     byte[] row = Bytes.toBytes("row1");    //定义行
4.     Put put = new Put(row);                //创建Put对象
5.     byte[] columnFamily = Bytes.toBytes("data");    //列簇
6.     byte[] qualifier = Bytes.toBytes(String.valueOf(1)); //列
7.     byte[] value = Bytes.toBytes("张三丰");    //值
8.     put.addColumn(columnFamily, qualifier, value);
9.     table.put(put);        //向表中添加数据
11. } finally {
12.     //使用完了要释放资源
13.     table.close();
14. }

添加数据示例：

1. package step2;
3. import java.io.IOException;
4. import org.apache.hadoop.conf.Configuration;
5. import org.apache.hadoop.hbase.HBaseConfiguration;
6. import org.apache.hadoop.hbase.HColumnDescriptor;
7. import org.apache.hadoop.hbase.HTableDescriptor;
8. import org.apache.hadoop.hbase.TableName;
9. import org.apache.hadoop.hbase.client.Admin;
10. import org.apache.hadoop.hbase.client.ColumnFamilyDescriptor;
11. import org.apache.hadoop.hbase.client.ColumnFamilyDescriptorBuilder;
12. import org.apache.hadoop.hbase.client.Connection;
13. import org.apache.hadoop.hbase.client.ConnectionFactory;
14. import org.apache.hadoop.hbase.client.Get;
15. import org.apache.hadoop.hbase.client.Put;
16. import org.apache.hadoop.hbase.client.Result;
17. import org.apache.hadoop.hbase.client.ResultScanner;
18. import org.apache.hadoop.hbase.client.Scan;
19. import org.apache.hadoop.hbase.client.Table;
20. import org.apache.hadoop.hbase.client.TableDescriptor;
21. import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
22. import org.apache.hadoop.hbase.util.Bytes;
24. public class Task {
26.   public void insertInfo()throws Exception{
27.           /********* Begin *********/
28.         Configuration config = HBaseConfiguration.create();
29.         Connection connection = ConnectionFactory.createConnection(config);
30.         Admin admin = connection.getAdmin();
31.         TableName tableName = TableName.valueOf("tb_step2"); //定义表名
32.         TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tableName);
33.         ColumnFamilyDescriptor family = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("data")).build();//  构建列族对象
34.         tableDescriptor.setColumnFamily(family); //  设置列族
35.         admin.createTable(tableDescriptor.build()); //  创建表
36.         
37.         Table table = connection.getTable(tableName);//获取Table对象
38.         // 添加数据
39.         try{
40.             byte[] row1 = Bytes.toBytes("row1");
41.             Put put1 = new Put(row1);
42.             byte[] columnFamily1 = Bytes.toBytes("data"); // 列
43.             byte[] qualifier1 = Bytes.toBytes(String.valueOf(1)); // 列族修饰词
44.             byte[] value1 = Bytes.toBytes("张三丰"); // 值
45.             put1.addColumn(columnFamily1, qualifier1, value1);
46.             table.put(put1);
48.             byte[] row2 = Bytes.toBytes("row2");
49.             Put put2 = new Put(row2);
50.             byte[] columnFamily2 = Bytes.toBytes("data"); // 列
51.             byte[] qualifier2 = Bytes.toBytes(String.valueOf(2)); // 列族修饰词
52.             byte[] value2 = Bytes.toBytes("张无忌"); // 值
53.             put2.addColumn(columnFamily2, qualifier2, value2);
54.             table.put(put2);
56.         }finally {
57.             //使用完了要释放资源
58.             table.close();
59.         }
62.           /********* End *********/
63.   }
64. }

获取指定行的数据

我们使用Get对象与Table对象就可以获取到表中的数据了。

1. //获取数据
2. Get get = new Get(Bytes.toBytes("row1"));    //定义get对象
3. Result result = table.get(get);            //通过table对象获取数据
4. System.out.println("Result: " + result);
5. //很多时候我们只需要获取“值” 这里表示获取 data:1 列族的值
6. byte[] valueBytes = result.getValue(Bytes.toBytes("data"), Bytes.toBytes("1")); //获取到的是字节数组
7. //将字节转成字符串
8. String valueStr = new String(valueBytes,"utf-8");
9. System.out.println("value:" + valueStr);

上述代码就可以查到table对象中行row1的数据了，亲自试试验证一下结果吧。

扫描表中的数据

只获取一行数据显然不能满足我们全部的需求，我们想要获取表中所有的数据应该怎么操作呢？

Scan、ResultScanner对象就派上用场了，接下来我们看个示例你应该就明白这两个对象的用法了：

1. Scan scan = new Scan();
2. ResultScanner scanner = table.getScanner(scan);
3. try {
4.     for (Result scannerResult: scanner) {
5.         System.out.println("Scan: " + scannerResult);
6.          byte[] row = scannerResult.getRow();
7.          System.out.println("rowName:" + new String(row,"utf-8"));
8.     }
9. } finally {
10.     scanner.close();
11. }

编程要求

使用本关知识，在右侧编辑器begin-end处补充代码，输出t_step3表中行号为row1，列族为data:1的值（以utf-8编码），输出table_step3表中所有行的行名称（因为直接输出scannerResult会带有时间戳，所以输出行名方便测评）。

1. import java.io.IOException;
2. import org.apache.hadoop.conf.Configuration;
3. import org.apache.hadoop.hbase.HBaseConfiguration;
4. import org.apache.hadoop.hbase.HColumnDescriptor;
5. import org.apache.hadoop.hbase.HTableDescriptor;
6. import org.apache.hadoop.hbase.TableName;
7. import org.apache.hadoop.hbase.client.Admin;
8. import org.apache.hadoop.hbase.client.ColumnFamilyDescriptor;
9. import org.apache.hadoop.hbase.client.ColumnFamilyDescriptorBuilder;
10. import org.apache.hadoop.hbase.client.Connection;
11. import org.apache.hadoop.hbase.client.ConnectionFactory;
12. import org.apache.hadoop.hbase.client.Get;
13. import org.apache.hadoop.hbase.client.Put;
14. import org.apache.hadoop.hbase.client.Result;
15. import org.apache.hadoop.hbase.client.ResultScanner;
16. import org.apache.hadoop.hbase.client.Scan;
17. import org.apache.hadoop.hbase.client.Table;
18. import org.apache.hadoop.hbase.client.TableDescriptor;
19. import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
20. import org.apache.hadoop.hbase.util.Bytes;
23. public class Task {
25.   public void queryTableInfo()throws Exception{
26.           /********* Begin *********/
27.         try{
28. //连接HBase
29.           Configuration config = HBaseConfiguration.create();
30.           Connection connection = ConnectionFactory.createConnection(config);//config为前文的配置对象
31.             Admin admin = connection.getAdmin();//使用连接对象获取Admin对象
33. //获取表   
34.             TableName tableName = TableName.valueOf("tb_step2"); //定义表名
35.             Table table = connection.getTable(tableName);//获取Table对象
36.          
38. //获取数据
39.             Get get = new Get(Bytes.toBytes("row1"));    //定义get对象
40.             Result result = table.get(get);            //通过table对象获取数据
41.             System.out.println("Result: " + result);
42.             //很多时候我们只需要获取“值” 这里表示获取 data:1 列族的值
43.             byte[] valueBytes = result.getValue(Bytes.toBytes("data"), Bytes.toBytes("1")); //获取到的是字节数组
44.         
47. //将字节转成字符串
48.             String valueStr = new String(valueBytes,"utf-8");
49.             System.out.println("value:" + valueStr);
50.          
51.          
52.             Table step3Table = connection.getTable(tableStep3Name);
54. //批量查询
55.             Scan scan = new Scan();
56.             ResultScanner scanner = table.getScanner(scan);
57.             try {
58.                 for (Result scannerResult: scanner) {
59.                 System.out.println("Scan: " + scannerResult);
60.                 byte[] row = scannerResult.getRow();
61.                 System.out.println("rowName:" + new String(row,"utf-8"));
62.                 }
63.             } finally {
64.                 scanner.close();
65.             }
67.         }finally{
68.             table.close();
69.         }
70.         
73.          
74.           /********* End *********/
75.   }
76.  
77. }
78. //连接HBase
79.             Configuration config = HBaseConfiguration.create();
80.             Connection connection = ConnectionFactory.createConnection(config);//config为前文的配置对象
81.             Admin admin = connection.getAdmin();//使用连接对象获取Admin对象
83. //获取表    
84.             TableName tableName = TableName.valueOf("t_step3"); //定义表名
85.             Table table = connection.getTable(tableName);//获取Table对象
86.         
88. //获取数据
89.             Get get = new Get(Bytes.toBytes("row1"));    //定义get对象
90.             Result result = table.get(get);            //通过table对象获取数据
91.             System.out.println("Result: " + result);
92.             //很多时候我们只需要获取“值” 这里表示获取 data:1 列族的值
93.             byte[] valueBytes = result.getValue(Bytes.toBytes("data"), Bytes.toBytes("1")); //获取到的是字节数组
94.         
96. //将字节转成字符串
97.             String valueStr = new String(valueBytes,"utf-8");
98.             System.out.println("value:" + valueStr);
99.         
100.             TableName tableStep3Name = TableName.valueOf("table_step3");
101.             Table step3Table = connection.getTable(tableStep3Name);
103. //批量查询
104.             Scan scan = new Scan();
105.             ResultScanner scanner = table.getScanner(scan);
106.             try {
107.                 for (Result scannerResult: scanner) {
108.                 System.out.println("Scan: " + scannerResult);
109.                 byte[] row = scannerResult.getRow();
110.                 System.out.println("rowName:" + new String(row,"utf-8"));
111.                 }
112.             } finally {
113.                 scanner.close();
114.             }
116.         }finally{
117.             ;
118.         }
120.         
121.         /********* End *********/