hbase 增删改查 java示例

最新推荐文章于 2021-03-13 02:57:42 发布
最新推荐文章于 2021-03-13 02:57:42 发布
阅读量1.6k 收藏
点赞数
分类专栏： Hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gua___gua/article/details/50955430
版权 
package test;


import java.io.IOException;
import java.util.ArrayList;
import java.util.List;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.MasterNotRunningException;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.ZooKeeperConnectionException;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HConnection;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.HTablePool;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.log4j.PropertyConfigurator;
import org.junit.Before;
import org.junit.Test;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;






public class HbaseTest {
	
	private Configuration configuration;
	
//	@Before
//	public void init(){
//		
//		configuration = HBaseConfiguration.create();
//		configuration.set("hbase.zookeeper.property.clientPort", "60010");
//		/**
//		 * 这里hbase.zookeeper.quorum的属性与hbase-site.xml中相对应的设置有关
//		 * 1.在hbase-site.xml中，设置hbase.zookeeper.quorum为本地地址时，在填写以下hbase.zookeeper.quorum参数值时，请加上端口。
//		 * ex:
//		 * hbase-site.xml:
//		 * <property>
//		 *		<name>hbase.zookeeper.quorum</name>
//		 *		<value>172.16.43.10</value>
//		 *	</property>
//		 * configuration.set("hbase.zookeeper.quorum","172.16.43.10:2181");
//		 * 注：2181端口是根据zookeeper中zoo.cfg设置的clientPort=2181值，也可通过登录Hbase Master管理页面，在最底下可以看到
//		 * zookeeper的信息，可以直接把那边的拷贝过来。
//		 * 2.在hbase-site.xml中，填写的是几个zookeeper地址，则将其以分号为分隔填入
//		 * ex:
//		 * hbase-site.xml:
//		 * <property>
//		 *		<name>hbase.zookeeper.quorum</name>
//		 *		<value>172.16.43.10:2181,172.16.43.10:2182,172.16.43.10:2183</value>
//		 *	</property>
//		 * configuration.set("hbase.zookeeper.quorum","172.16.43.10:2181,172.16.43.10:2182,172.16.43.10:2183");
//		 */
//		configuration.set("hbase.zookeeper.quorum","192.168.10.4:4180,192.168.10.4:4181,192.168.10.4:4182");
//		configuration.set("hbase.master", "192.168.10.4:60000");
//		
//	}
	
	public void init(){
		configuration = HBaseConfiguration.create();
		configuration.addResource(new Path("hbase-site.xml"));
		configuration.addResource(new Path("core-site.xml"));
		configuration.set("hbase.zookeeper.quorum", "192.168.60.158");
	}




	/**
	 * 创建表
	 * @throws Exception
	 */
	//@Test
	public void createTable(){
		Connection conn = null;
		try{
			conn = ConnectionFactory.createConnection(configuration);
			HBaseAdmin hBaseAdmin = (HBaseAdmin) conn.getAdmin();
			HTableDescriptor desc = new HTableDescriptor(TableName.valueOf("test"));
			//添加列簇
			desc.addFamily(new HColumnDescriptor("test_1"));
			desc.addFamily(new HColumnDescriptor("test_2"));
			desc.addFamily(new HColumnDescriptor("test_3"));
			//desc.setMaxFileSize(); //Range大小限制


			if(hBaseAdmin.tableExists("test")){
				System.out.println("table is exists !");
				//System.exit(0);
			}else{
				hBaseAdmin.createTable(desc);
				System.out.println("create table successfully.");
			}
		}catch(Exception e){
			System.out.println("create table unsuccessfully.");
			e.printStackTrace();
		}finally{
			if(null != conn){
				try {
					conn.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
		}
	}


	/*
	 * 打印所有表结构
	 * */
	public void printAllTableSesc(){
		
		Connection conn = null;
		
		try {
			conn = ConnectionFactory.createConnection(configuration);
			HBaseAdmin hBaseAdmin = (HBaseAdmin) conn.getAdmin();
			HTableDescriptor[] htds = hBaseAdmin.listTables();
			for (HTableDescriptor htd:htds){
				System.out.println(htd.toString());
				
			}


		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
	}
	
	/**
	 * 查询时，会每个cell代表一个列簇中的一个区域，
	 * 例如：有一个列簇为 test_1
	 * 1.如果存储数据时没有存储列修饰符，则cell代表整个列簇的内容，查询出的就是该行下整个列簇的内容
	 * 2.如果存储数据时有存储列修饰符，则每个列簇下的列修饰符各有一个cell
	 * 
	 */
	//@Test
	public void query(){
		
		Connection conn = null;
		HTable table = null;
		ResultScanner scann = null;
		try{
			conn = ConnectionFactory.createConnection(configuration);
			table = (HTable) conn.getTable(TableName.valueOf("test"));
			
			scann = table.getScanner(new Scan());
			/**
			 * 循环读取按行区分：
			 * 读取结果为：
			 * 	该表RowKey为：1445320222118
				列簇为：test_1
				值为：这是第一行第一列的数据
				列簇为：test_2
				值为：这是第一行第二列的数据
				列簇为：test_3
				值为：这是第一行第三列的数据
				==========================================
				该表RowKey为：1445320222120
				列簇为：test_1
				值为：这是第二行第一列的数据
				列簇为：test_2
				值为：这是第二行第二列的数据
				列簇为：test_3
				值为：这是第二行第三列的数据
				==========================================
			 */
			
			for(Result rs : scann){
				System.out.println("该表RowKey为："+new String(rs.getRow()));
				/**
				 * 这边循环是按cell进行循环
				 */
				for(Cell cell : rs.rawCells()){
					System.out.println("列簇为："+new String(CellUtil.cloneFamily(cell)));
					System.out.println("列修饰符为："+new String(CellUtil.cloneQualifier(cell)));
					System.out.println("值为："+new String(CellUtil.cloneValue(cell)));
				}
				System.out.println("==========================================");
			}
		}catch(Exception e){
			e.printStackTrace();
		}finally{
			if(null != scann){
				scann.close();
			}
			if(null != table){
				try {
					table.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
			if(null != conn){
				try {
					conn.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
		}
		
	}
	
	/**
	 * 根据RowKey查询单行
	 */
	//@Test
	public void queryByRowKey(){
		Connection conn = null;
		HTable table = null;
		try{
			conn = ConnectionFactory.createConnection(configuration);
			table = (HTable) conn.getTable(TableName.valueOf("test"));
			Result rs = table.get(new Get("1458104682477".getBytes()));
			System.out.println("test表 RowKey为1458104682477的行数据如下：");
			for(Cell cell : rs.rawCells()){
				//疑问：同个行，一个列簇里具有多列的查询？
				System.out.println("列簇为："+new String(CellUtil.cloneFamily(cell)));
				System.out.println("列修饰符为："+new String(CellUtil.cloneQualifier(cell)));
				System.out.println("值为："+new String(CellUtil.cloneValue(cell)));
			}
		}catch(Exception e ){
			e.printStackTrace();
		}finally{
			
			if(null != table){
				try {
					table.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
			if(null != conn){
				try {
					conn.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
		}
	}
	/**
	 * 插入数据
	 * @throws Exception 
	 */
	//@Test
	public void insertData(){
		Connection conn = null;
		HTable hTable = null;
		try{
			conn = ConnectionFactory.createConnection(configuration);
			hTable = (HTable) conn.getTable(TableName.valueOf("test"));
			//一个PUT代表一行，构造函数传入的是RowKey
			Put put = new Put((String.valueOf(System.currentTimeMillis())).getBytes());
			put.addColumn("test_1".getBytes(), "c1".getBytes(), "这是第一行第一列的数据".getBytes());
			put.addColumn("test_2".getBytes(), "c2".getBytes(), "这是第一行第二列的数据".getBytes());
			put.addColumn("test_3".getBytes(), "c2".getBytes(), "这是第一行第三列的数据".getBytes());
			
			//多增加一行
			Put put_2 = new Put((String.valueOf(System.currentTimeMillis())).getBytes());
			put_2.addColumn("test_1".getBytes(), "c1".getBytes(), "这是第二行第一列的数据".getBytes());
			put_2.addColumn("test_2".getBytes(), "c2".getBytes(), "这是第二行第二列的数据".getBytes());
			put_2.addColumn("test_3".getBytes(), "c3".getBytes(), "这是第二行第三列的数据".getBytes());
			
			List<Put> puts = new ArrayList<Put>();
			puts.add(put);
			puts.add(put_2);
			//添加进表中
			hTable.put(puts);
			
		}catch(Exception e){
			e.printStackTrace();
		}finally{
			if(null != hTable){
				try {
					hTable.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
			if(null != conn){
				try {
					conn.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
		}
		
	}
	/**
	 * 向一个列簇中插入多个值
	 */
	//@Test
	public void insertColumsValue(){
		Connection conn = null;
		HTable table = null;
		try{
			conn = ConnectionFactory.createConnection(configuration);
			table = (HTable) conn.getTable(TableName.valueOf("test"));
			Put put = new Put("1458104682476".getBytes());
			//1.如果没有指定列修饰符，而在这之下已经有内容，则覆盖原先内容
			//2.如果有指定列修饰符，而在该列修饰符下如果存在内容则覆盖
			put.addColumn("test_1".getBytes(), "c1".getBytes(),"这是第一行第一列的第二个数值".getBytes());
			table.put(put);
		}catch(Exception e){
			e.printStackTrace();
		}finally{
			if(null != table){
				try {
					table.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
			
			if(null != conn){
				try {
					conn.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
		}
		
	}
	
	/**
	 * 添加数据时，添加列修饰符
	 * 列修饰符：相当于在一个列簇中，根据列修饰符分隔成不同区域存储内容。（HBase的特性）
	 * 插入后，查询到的数值：
	 * 该表RowKey为：1445320222118
		列簇为：test_1
		列修饰符为：
		值为：这是第一行第一列的第二个数值
		列簇为：test_1
		列修饰符为：1
		值为：test_1_1
		列簇为：test_1
		列修饰符为：2
		值为：test_1_2
		列簇为：test_2
		列修饰符为：
		值为：这是第一行第二列的数据
		列簇为：test_3
		列修饰符为：
		值为：这是第一行第三列的数据
		==========================================
		该表RowKey为：1445320222120
		列簇为：test_1
		列修饰符为：
		值为：这是第二行第一列的数据
		列簇为：test_2
		列修饰符为：
		值为：这是第二行第二列的数据
		列簇为：test_3
		列修饰符为：
		值为：这是第二行第三列的数据
		==========================================
	 */
	//@Test
	public void insertrAddColumnQualifier(){
		
		Connection conn = null;
		HTable table = null;
		try{
			conn = ConnectionFactory.createConnection(configuration);
			table = (HTable) conn.getTable(TableName.valueOf("test"));
			Put put = new Put("1458104682476".getBytes());
			put.addColumn("test_1".getBytes(), "1".getBytes(), "test_1_1".getBytes());
			put.addColumn("test_1".getBytes(), "2".getBytes(), "test_1_2".getBytes());
			
			table.put(put);
		}catch(Exception e){
			e.printStackTrace();
		}finally{
			try{
				table.close();
				conn.close();
			}catch(Exception e){
				e.printStackTrace();
			}
		}
		
	}
	/**
	 * 删除指定名称的列簇
	 */
	@Test
	public void deleteFamily(){
		
		Connection conn = null;
		HBaseAdmin admin = null;
		try{
			conn = ConnectionFactory.createConnection(configuration);
			admin = (HBaseAdmin) conn.getAdmin();
			admin.deleteColumn("test".getBytes(), "test_3");
		}catch(Exception e){
			e.printStackTrace();
		}finally{
			try{
				if(null != conn){
					conn.close();
				}
			}catch(Exception e){
				e.printStackTrace();
			}
		}
	}
	/**
	 * 删除指定行
	 */
	@Test
	public void deleteRow(){


		Connection conn = null;
		HTable table = null;
		try{
			conn = ConnectionFactory.createConnection(configuration);
			table = (HTable) conn.getTable(TableName.valueOf("test"));
			table.delete(new Delete("1458104682476".getBytes()));
		}catch(Exception e){
			e.printStackTrace();
		}finally{
			try{
				if(null != table){
					table.close();
				}
				if(null != conn){
					conn.close();
				}
			}catch(Exception e){
				e.printStackTrace();
			}
		}
		
	}
	
	/**
	 * 删除指定表名
	 */
	@Test
	public void deleteTable(){
		
		Connection conn = null;
		HBaseAdmin admin = null;
		try{
			conn = ConnectionFactory.createConnection(configuration);
			admin = (HBaseAdmin) conn.getAdmin();
			if(admin.tableExists("test")){
			if(admin.isTableEnabled("test")){
				//在删除一张表前，要使其失效
				admin.disableTable("test");
			}
			admin.deleteTable("test");
			}
		}catch(Exception e){
			e.printStackTrace();
		}finally{
			try{
				if(null != conn){
					conn.close();
				}
			}catch(Exception e){
				e.printStackTrace();
			}
		}
	}
	
	public static void main(String[] args) {


		try {
			//PropertyConfigurator.configure( "conf/log4j.properties " );
			HbaseTest myHtest =new HbaseTest();
			myHtest.init();
			myHtest.createTable();
			myHtest.printAllTableSesc();
			myHtest.insertData();
			myHtest.deleteTable();
			myHtest.insertData();
			myHtest.insertColumsValue();
			myHtest.insertrAddColumnQualifier();
			myHtest.deleteFamily();
			myHtest.deleteRow();
			myHtest.deleteTable();
			myHtest.query();
			myHtest.queryByRowKey();
		} catch (Exception e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	}
}


kf_panda
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HBase原理与代码实例讲解
禅与计算机程序设计艺术
07-21 603
HBase原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：HBase，非关系型数据库，分布式存储，Hadoop生态，Java开发 1. 背景介绍
HBase编程实例
summerhai
08-23 4062
摘要：在前文中安装了Hbase，通过Hbase shell可以进行一些操作，但是和实际的编程实例联系起来不方便，因此本文介绍有关Hbase编程的实例。
HBase开发实例学习
热门推荐
阳光奶爸的博客
07-27 1万+
介绍HBase的常用API的使用方法以及HBase与MapReduce的结合使用。
hbase应用场景 java_HBase Java简单示例
weixin_39653733的博客
12-21 80
packagecom.hbase.mapreduce;importjava.io.File;importjava.io.FileInputStream;importjava.io.IOException;importjava.util.ArrayList;importjava.util.List;importorg.apache.hadoop.io.Text;importorg.apache.ha...
HBase java 增删改查操作
mojolang
03-13 858
package hbase; import java.io.IOException; import java.util.ArrayList; import java.util.List; import java.util.Map; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseCon
【HBase】Java 操作 HBase 超详细示例（转）
A minor
01-27 2642
原文链接：http://blog.csdn.net/u010967382/article/details/37878701。本文做了一些简单补充和排版。 对于建表，和 RDBMS 类似，HBase 也有 namespace 的概念，可以指定表空间创建表，也可以直接创建表，进入 default 表空间。对于数据操作，HBase 支持四类主要的数据操作，分别是： Put：增加一行，修改一行； Delete：删除一行，删除指定列族，删除指定 column 的多个版本，删除指定 column 的制定版本等； .
java操作hbase，增删查改
01-20
在Java中操作HBase，即使用Java API对HBase数据库进行增、删、查、改操作，是一项常见的任务。HBase是一种分布式、行式存储的NoSQL数据库，它基于Google的Bigtable设计，并构建在Hadoop之上。这篇文章将通过一个简单...
Java操作Hbase进行建表、删表以及对数据进行增删改查
05-14
Java 操作 Hbase 进行建表、删表以及对数据进行增删改查 一、Hbase 简介 Hbase 是一个开源的、分布式的、基于 column-family 的 NoSQL 数据库。它是基于 Hadoop 的，使用 HDFS 作为其存储层。Hbase 提供了高性能、...
HBase入门：命名空间、建表、增删改查
01-20
示例：`hbase> alter_namespace 'ns', {METHOD => 'set', 'PROPERTY_NAME' => 'PROPERTY_VALUE'}`，这里的`PROPERTY_NAME`和`PROPERTY_VALUE`分别代表你要修改的属性名和值。 ### 表管理 表是HBase中的基本数据...
java链接并对hbase进行增删改查操作的实例代码(含批量插入,范围查询等,并包含所需jar包)
11-27
Java链接HBase进行增删改查操作是大数据领域常见的任务，尤其在处理大规模分布式存储时。HBase，作为Apache Hadoop生态系统的一部分，是一个基于列族的NoSQL数据库，提供了高性能、高可扩展性的数据存储解决方案。这...
java操作HBase增删改查基础
login_sonata的博客
11-28 1379
完整代码在最后部分，有注释，可以直接跳过去看代码。环境是我之前搭的Hadoop和hbase，详见：分布式HBase安装配置和基础学习，但是他们在虚拟机里，eclipse在win10，所以要在win下添加虚拟机的ip映射（这一步或许不需要，看实际情况），修改C:\Windows\System32\drivers\etc\hosts文件，添加： 10.4.20.49 Master 10.4.20.
hbase的java client实例
06-16
hbase java api，集成spring使用，mapreduce实例，协处理器实例等等
Hbase操作示例 Hbase的读写例子
03-21
本人原创， 1.Hbase连接需要改Hbase包中的两个配置文件,加上Hbase所在机器ip及端口 2.HBaseDMLT初始化环境 3.MapDataIni为建表 4.MapDataInsert为写数据 5.MapDataDelete为删除数据 6.MapDataRead为读数据
HBase入门之九HBase Java API
云智禅师的专栏
12-02 587
Hbase基本使用示例： import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; impo
HBase使用例子
原创学无止尽
03-15 2375
通过编码（java）的形式对HBase进行一系列的管理涉及到对表的管理、数据的操作等。 1、 对表的创建、删除、显示以及修改等，可以用HBaseAdmin， 一旦创建了表，那么可以通过HTable的 实例来访问表，每次可以往表里增加数据。 2、 插入数据 创建一个Put对 象，在这个Put对象里可以指定要给哪个列增加数据，以及当前的时间戳等值，然后通过调用HTable.put(Put)来 提
HBase基本知识介绍及典型案例分析
Hadoop技术博文
10-25 660
本文来自于2018年10月20日由中国 HBase 技术社区在武汉举办的中国 HBase Meetup 第六次线下交流会。分享者为本人。本文 PPT 下载 请关注 ite...
Hbase与eclipse集成的第一个例子
ChallenChenZhiPeng的专栏
08-20 7312
1、运行Eclipse，创建一个新的Java工程“HBaseClient”，右键项目根目录，选择 “Properties”->“Java Build Path”->“Library”->“Add External JARs”，将HBase解压后根目录下的hbase-0.94.1-security.jar、hbase-0.94.1-security-tests.jar和lib子目录下所有jar 包添
hbase java编程,HBase编程实例
weixin_27427397的博客
03-13 693
摘要：在前文中安装了Hbase，通过Hbase shell可以进行一些操作，但是和实际的编程实例联系起来不方便，因此本文介绍有关Hbase编程的实例。一、使用Eclipse开发HBase应用程序1，在Eclipse中新建一个Java Project，命名为HBaseTest，然后右键Properties中选择Java Build Path，选择Add External Jars，将HBase/li...
HBase Java简单示例
codepython的专栏
01-24 994
Hbase采用Java实现，原生客户端也是Java实现，其他语言需要通过thritf接口服务间接访问Hbase的数据。 Hbase作为大数据存储数据库，其写能力非常强，加上Hbase本身就脱胎于Hadoop故和Hadoop的兼容性极好，非常适合于存储半规则数据(灵活、可扩展性强、大数据存储)。基于Hadoop的mapreduce + Hbase存储，非常适合处理大数据。 Hbase
java调用hbase进行数据增删改查
最新发布
06-06
Java可以通过HBase的Java API来实现对HBase数据的增删改查操作。以下是示例代码： 1. 首先需要创建一个HBase配置对象`Configuration`并设置相关参数： ```java Configuration conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum", "server1,server2,server3"); conf.set("hbase.zookeeper.property.clientPort", "2181"); ``` 2. 获取HBase的客户端对象`Connection`： ```java Connection connection = ConnectionFactory.createConnection(conf); ``` 3. 获取操作某个表的HBase表对象`Table`： ```java TableName tableName = TableName.valueOf("table_name"); Table table = connection.getTable(tableName); ``` 4. 插入数据： ```java Put put = new Put(Bytes.toBytes("row_key")); put.addColumn(Bytes.toBytes("column_family"), Bytes.toBytes("column_qualifier"), Bytes.toBytes("value")); table.put(put); ``` 5. 查询数据： ```java Get get = new Get(Bytes.toBytes("row_key")); Result result = table.get(get); byte[] value = result.getValue(Bytes.toBytes("column_family"), Bytes.toBytes("column_qualifier")); String valueStr = Bytes.toString(value); ``` 6. 删除数据： ```java Delete delete = new Delete(Bytes.toBytes("row_key")); delete.addColumn(Bytes.toBytes("column_family"), Bytes.toBytes("column_qualifier")); table.delete(delete); ``` 7. 最后需要关闭`Table`和`Connection`对象： ```java table.close(); connection.close(); ``` 以上是Java调用HBase进行数据增删改查的简单示例代码，需要注意的是，实际应用中还需要进行一些异常处理等操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值