HBase学习笔记-API简单操作

最新推荐文章于 2023-11-12 17:19:04 发布
最新推荐文章于 2023-11-12 17:19:04 发布
阅读量2.2k 收藏 3
点赞数
分类专栏： HBase 文章标签： HBase Hadoop Java 学习 API
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fighting_one_piece/article/details/37651151
版权
版本：Hadoop-2.2.0与Hbase-0.96.0 
public abstract class AbstrUtils {
	
	protected static Logger logger = Logger.getLogger(AbstrUtils.class);
	
	protected static Configuration configuration = null;
	
	/** 初始化配置 **/
	static {
		System.setProperty("hadoop.home.dir", "D:/develop/data/hadoop/hadoop-2.2.0");
		System.setProperty("HADOOP_MAPRED_HOME", "D:/develop/data/hadoop/hadoop-2.2.0");
		System.setProperty("SQOOP_CONF_DIR", "D:/develop/data/sqoop/sqoop-1.4.4-hadoop-2.0.4");
		configuration = new Configuration();
		/** 与hbase/conf/hbase-site.xml中hbase.master配置的值相同 */
		configuration.set("hbase.master", "192.168.10.10:60000");
		/** 与hbase/conf/hbase-site.xml中hbase.zookeeper.quorum配置的值相同 */
		configuration.set("hbase.zookeeper.quorum", "192.168.10.10");
		/** 与hbase/conf/hbase-site.xml中hbase.zookeeper.property.clientPort配置的值相同 */
		configuration.set("hbase.zookeeper.property.clientPort", "2181");
		//configuration = HBaseConfiguration.create(configuration);
	}

}

public class HBaseUtils extends AbstrUtils {
	
	private static HBaseAdmin admin = null;
	
	private static HTablePool tablePool = null;
	
	static {
		try {
			admin = new HBaseAdmin(configuration);
			tablePool = new HTablePool(configuration, 10);
			tablePool.close();
		} catch (IOException e) {
			logger.info(e.getMessage(), e);
		}
	}
	
	/** 创建一张表*/
	public static void creatTable(String tableName, String[] familys) {
		try {
			if (admin.tableExists(tableName)) {
				logger.info("table "+ tableName + " already exists!");
			} else {
				HTableDescriptor tableDesc = new HTableDescriptor(TableName.valueOf(tableName));
				for (int i = 0; i < familys.length; i++) {
					tableDesc.addFamily(new HColumnDescriptor(familys[i]));
				}
				admin.createTable(tableDesc);
				logger.info("create table " + tableName + " success.");
			}
		} catch (Exception e) {
			logger.info(e.getMessage(), e);
		} 
	}

	/** 删除表*/
	public static void deleteTable(String tableName) {
		try {
			admin.disableTable(tableName);
			admin.deleteTable(tableName);
			logger.info("delete table " + tableName + " success.");
		} catch (Exception e) {
			logger.info(e.getMessage(), e);
		} 
	}

	/** 插入一行记录*/
	@SuppressWarnings("resource")
	public static void putRecord(String tableName, String rowKey, String family, String qualifier, String value) {
		try {
			HTable table = new HTable(configuration, tableName);
			Put put = new Put(Bytes.toBytes(rowKey));
			put.add(Bytes.toBytes(family), Bytes.toBytes(qualifier), Bytes.toBytes(value));
			table.put(put);
			logger.info("insert recored " + rowKey + " to table " + tableName + " success.");
		} catch (IOException e) {
			logger.info(e.getMessage(), e);
		}
	}
	
	/** 批量插入记录*/
	public static void putRecords(String tableName, List<Put> puts) {
		HTable table = null;
		try {
			table = new HTable(configuration, tableName);
			table.put(puts);
		} catch (IOException e) {
			logger.info(e.getMessage(), e);
			try {
				table.flushCommits();
			} catch (Exception e1) {
				logger.info(e1.getMessage(), e1);
			}
		}
	}
	
	/** 删除一行记录*/
	@SuppressWarnings("resource")
	public static void deleteRecord(String tableName, String... rowKeys) {
		try {
			HTable table = new HTable(configuration, tableName);
			List<Delete> list = new ArrayList<Delete>();
			Delete delete = null;
			for (String rowKey : rowKeys) {
				delete = new Delete(rowKey.getBytes());
				list.add(delete);
			}
			if (list.size() > 0) {
				table.delete(list);
			}
			logger.info("delete recoreds " + rowKeys + " success.");
		} catch (IOException e) {
			logger.info(e.getMessage(), e);
		}
	}

	/** 查找一行记录*/
	@SuppressWarnings({ "resource"})
	public static Result getRecord(String tableName, String rowKey) {
		try {
			HTable table = new HTable(configuration, tableName);
			Get get = new Get(rowKey.getBytes());
			get.setMaxVersions();
			return table.get(get);
		} catch (IOException e) {
			logger.info(e.getMessage(), e);
		}
		return null;
	}

	/** 查找所有记录*/
	@SuppressWarnings({"resource" })
	public static ResultScanner getRecords(String tableName) {
		try {
			HTable table = new HTable(configuration, tableName);
			return table.getScanner(new Scan());
		} catch (IOException e) {
			logger.info(e.getMessage(), e);
		}
		return null;
	}
	
	public static void printRecord(Result result) {
		for (Cell cell : result.rawCells()) {
			logger.info("cell row: " + new String(cell.getRowArray()));
			logger.info("cell family: " + new String(cell.getFamilyArray()));
			logger.info("cell qualifier: " + new String(cell.getQualifierArray()));
			logger.info("cell value: " + new String(cell.getValueArray()));
			logger.info("cell timestamp: " + cell.getTimestamp());
		}
		/** 之前版本*/
		/** 
		for (KeyValue kv : rs.raw()) {
			System.out.print(new String(kv.getRow()) + " ");
			System.out.print(new String(kv.getFamily()) + ":");
			System.out.print(new String(kv.getQualifier()) + " ");
			System.out.print(kv.getTimestamp() + " ");
			System.out.println(new String(kv.getValue()));
		}
		*/
	}
	
	public static void printRecords(ResultScanner resultScanner) {
		for (Result result : resultScanner) {
			printRecord(result);
		}
	}

}


版本：Hadoop-2.7.2与Hbase-1.2.3

public class HBaseUtils extends AbstrUtils {
	
	private static HBaseAdmin admin = null;
	
	private static Connection connection = null;
	
	static {
		try {
			ExecutorService pool = Executors.newCachedThreadPool();
			connection = ConnectionFactory.createConnection(configuration, pool);
			admin = (HBaseAdmin) connection.getAdmin();
		} catch (IOException e) {
			LOG.error(e.getMessage(), e);
		}
	}
	
	/** 创建一张表*/
	public static void creatTable(String tableName, String[] familys) {
		try {
			if (admin.tableExists(tableName)) {
				LOG.info("table "+ tableName + " already exists!");
			} else {
				HTableDescriptor tableDesc = new HTableDescriptor(TableName.valueOf(tableName));
				for (int i = 0; i < familys.length; i++) {
					tableDesc.addFamily(new HColumnDescriptor(familys[i]));
				}
				admin.createTable(tableDesc);
				LOG.info("create table " + tableName + " success.");
			}
		} catch (Exception e) {
			LOG.error(e.getMessage(), e);
		} 
	}
	
	/** 表注册Coprocessor*/
	public static void addTableCoprocessor(String tableName, String coprocessorClassName) {
		try {
			admin.disableTable(tableName);
			HTableDescriptor htd = admin.getTableDescriptor(Bytes.toBytes(tableName));
			htd.addCoprocessor(coprocessorClassName);
			admin.modifyTable(Bytes.toBytes(tableName), htd);
			admin.enableTable(tableName);
		} catch (IOException e) {
			LOG.error(e.getMessage(), e);
		}
	}
	
	/** 统计表行数*/
	public static long rowCount(String tableName) {
		long rowCount = 0;
		try {
			HTable table = (HTable) connection.getTable(TableName.valueOf(tableName));
			Scan scan = new Scan();
//			scan.setFilter(new KeyOnlyFilter());
			scan.setFilter(new FirstKeyOnlyFilter());
			ResultScanner resultScanner = table.getScanner(scan);
			for (Result result : resultScanner) {
				rowCount += result.size();
			}
		} catch (IOException e) {
			LOG.error(e.getMessage(), e);
		}
		return rowCount;
	}

	/** 插入一行记录*/
	public static void insertRecord(String tableName, String rowKey, String family, String qualifier, String value) {
		try {
			HTable table = (HTable) connection.getTable(TableName.valueOf(tableName));
			Put put = new Put(Bytes.toBytes(rowKey));
			put.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier), Bytes.toBytes(value));
			table.put(put);
			LOG.info("insert recored " + rowKey + " to table " + tableName + " success.");
		} catch (IOException e) {
			LOG.info(e.getMessage(), e);
		}
	}
	
	/** 批量插入记录*/
	public static void insertRecords(String tableName, List<Put> puts) {
		HTable table = null;
		try {
			table = (HTable) connection.getTable(TableName.valueOf(tableName));
			table.put(puts);
		} catch (IOException e) {
			LOG.info(e.getMessage(), e);
			try {
				table.flushCommits();
			} catch (Exception e1) {
				LOG.info(e1.getMessage(), e1);
			}
		}
	}
	
	/** 删除一行记录*/
	public static void deleteRecord(String tableName, String... rowKeys) {
		try {
			HTable table = (HTable) connection.getTable(TableName.valueOf(tableName));
			List<Delete> list = new ArrayList<Delete>();
			Delete delete = null;
			for (String rowKey : rowKeys) {
				delete = new Delete(rowKey.getBytes());
				list.add(delete);
			}
			if (list.size() > 0) {
				table.delete(list);
			}
			LOG.info("delete recoreds " + rowKeys + " success.");
		} catch (IOException e) {
			LOG.error(e.getMessage(), e);
		}
	}
	
	/** 删除一个列族*/
	public static void deleteFamily(String tableName, String columnName) {
		try {
			admin.deleteColumn(tableName, columnName);
		} catch (Exception e) {
			LOG.error(e.getMessage(), e);
		} 
	}
	
	/** 删除表*/
	public static void deleteTable(String tableName) {
		try {
			admin.disableTable(tableName);
			admin.deleteTable(tableName);
			LOG.info("delete table " + tableName + " success.");
		} catch (Exception e) {
			LOG.error(e.getMessage(), e);
		} 
	}

	/** 查找一行记录*/
	public static Result getRecord(String tableName, String rowKey) {
		try {
			HTable table = (HTable) connection.getTable(TableName.valueOf(tableName));
			Get get = new Get(rowKey.getBytes());
			get.setMaxVersions();
			return table.get(get);
		} catch (IOException e) {
			LOG.error(e.getMessage(), e);
		}
		return null;
	}

	/** 查找所有记录*/
	public static ResultScanner getRecords(String tableName) {
		return getRecords(tableName, null, null, null, null, null);
	}
	
	/** 查找所有记录*/
	public static ResultScanner getRecords(String tableName, String family) {
		return getRecords(tableName, family, null, null, null, null);
	}
	
	/** 查找所有记录*/
	public static ResultScanner getRecords(String tableName, String family, String qualifier) {
		return getRecords(tableName, family, qualifier, null, null, null);
	}
	
	/** 查找所有记录*/
	public static ResultScanner getRecords(String tableName, Filter filter) {
		return getRecords(tableName, null, null, null, null, filter);
	}
	
	/** 查找所有记录*/
	public static ResultScanner getRecords(String tableName, String family, String qualifier, 
			String startRow, String stopRow, Filter filter) {
		try {
			HTable table = (HTable) connection.getTable(TableName.valueOf(tableName));
			Scan scan = new Scan();
			if (!StringUtils.isBlank(family)) scan.addFamily(Bytes.toBytes(family));
			if (!StringUtils.isBlank(family) && !StringUtils.isBlank(qualifier)) 
				scan.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier));
			if (!StringUtils.isBlank(startRow)) scan.setStartRow(Bytes.toBytes(startRow));
			if (!StringUtils.isBlank(stopRow)) scan.setStopRow(Bytes.toBytes(stopRow));
			if (null != filter) scan.setFilter(filter);
			return table.getScanner(scan);
		} catch (IOException e) {
			LOG.error(e.getMessage(), e);
		}
		return null;
	}
	
	/** 查找所有记录*/
	public static ResultScanner getRecords(String tableName, Scan scan) {
		try {
			HTable table = (HTable) connection.getTable(TableName.valueOf(tableName));
			return table.getScanner(scan);
		} catch (IOException e) {
			LOG.error(e.getMessage(), e);
		}
		return null;
	}
	
	public static void printRecord(Result result) {
		try {
			List<Cell> cells= result.listCells();
			for (Cell cell : cells) {
				String row = new String(result.getRow(), "UTF-8");
				String family = new String(CellUtil.cloneFamily(cell), "UTF-8");
				String qualifier = new String(CellUtil.cloneQualifier(cell), "UTF-8");
				String value = new String(CellUtil.cloneValue(cell), "UTF-8");
				System.out.println("[row:"+row+"],[family:"+family+"],[qualifier:"+qualifier+"],[value:"+value+"]");
			} 
		} catch (UnsupportedEncodingException e) {
			LOG.error(e.getMessage(), e);
		}
	}
	
	public static void printRecords(ResultScanner resultScanner) {
		for (Result result : resultScanner) {
			printRecord(result);
		}
	}
	
}



人生偌只如初见
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HBase简单API操作
ls386239766的专栏
07-24 362
package com.ls.hbase; import java.io.IOException; import java.io.InterruptedIOException; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseCo
HBase学习笔记 - 实践篇
Coder Wu的博客
04-06 284
前言：本篇主要是笔者在工作过程中发现或遇到的问题的一些总结。不涉及HBase基础及原理的探讨，如有需要，可参照笔者前两篇文章：基础篇、架构篇。 单调递增的RowKey有何不妥？ 关于RowKey的设计，HBase的官方文档是给了一些案例的，建议可以通读官方文档的相应章节。单调递增的RowKey（如时间戳），可能会出现一段时间内，客户端仅访问某个RegionServer的情况，不但降低了热点数据...
HBase API 之 表数据操作
哈
03-10 1311
相关博客 win10安装hadoop3.1.2 HBase集群中原有数据： 第一步：创建Maven项目，导入依赖 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version...
实验三：熟悉常用的HBase操作
qq_36428822的博客
05-06 9692
"大数据技术原理与应用"课程实验报告 题目：实验三：熟悉常用的HBase操作 姓名：朱小凡 日期：2022/3/29 1、实验环境： 设备名称 LAPTOP-9KJS8HO6 处理器 Intel® Core™ i5-10300H CPU @ 2.50GHz 2.50 GHz 机带 RAM 16.0 GB (15.8 GB 可用) 主机操作系统 Windows 10 家庭中文版 虚拟机操作系统 ubuntukylin-16.04 Hadoop 版本 3.1.3 JDK 版本 1.8 Java IDE：Ecli
Hbase Filter 总结1
weixin_44996457的博客
10-28 434
Hbase过滤器 HBase的filter有四种比较器： （1）二进制比较器：如’binary:abc’，按字典排序跟’abc’进行比较 （2）二进制前缀比较器：如’binaryprefix:abc’，按字典顺序只跟’abc’比较前3个字符 （3）正则表达式比较器：如’regexstring:ab*yz’，按正则表达式匹配以ab开头，以yz结尾的值。这个比较器只能使用=、!=两个比较运算符。 （...
HBase高级特性：过滤器（一）
最新发布
m0_52680439的博客
11-12 1805
1.使用过滤器的步骤：（1）创建过滤器：RowFilter(CompareOperator op,ByteArrayComparable rowComparator)，第一个参数接收的是比较操作对象，第二个参数接收的是条件。（2）设置过滤器。
hbase - 读写方式API， get、 scan、Filter模糊查询以及分页
.
02-27 2827
一、创建表 //创建表 try { Admin admin = conn.getAdmin(); TableName tableName = TableName.valueOf("user_fengze"); if (admin.tableExists(tableName)) {// 如果存在要创建的表，...
hbase学习笔记
07-18
HBase Shell提供了与HBase交互的命令行工具，包括创建表、删除表、插入数据、查询数据等操作。例如： - `create`命令用于创建表，需要指定表名和列族。 - `put`命令用于向表中插入数据，需提供Row Key、列族和...
HBase学习笔记(个人整理)
07-26
同时，掌握HBase的安装、配置和基本操作，如创建表、插入数据、查询数据等，是学习HBase的基础。 【HBase与其他技术的集成】 HBase可以与Apache Spark集成，用于实时数据处理和分析。Phoenix是SQL查询引擎，允许...
hbase-1.2.6-bin+src.tar.rar
10-06
客户端与HBase交互的API在`org.apache.hadoop.hbase.client`包中，如`Table`接口提供了增删查改操作。`Put`、`Get`、`Scan`、`Delete`类分别对应写入、读取、扫描和删除操作。 3.3 Region分裂 Region的分裂过程在`...
HBase完整学习笔记
03-28
【HBase完整学习笔记】 HBase是一款开源的分布式NoSQL数据库，主要设计用于处理海量结构化数据，尤其适合大数据分析场景。它与传统的关系型数据库（如Oracle、MySQL）不同，采用列式存储方式，这使得HBase在压缩...
Hadoop之HBase学习笔记
04-23
【标题】"Hadoop之HBase学习笔记"主要聚焦于Hadoop生态中的分布式数据库HBase。HBase是一个基于Google Bigtable理念设计的开源NoSQL数据库，它运行在Hadoop之上，提供高性能、高可靠性以及可水平扩展的数据存储能力...
Hbase基本操作
qq_61604164的博客
07-25 3432
HBASE基本操作
五十三、通过MapReduce实现HBase操作
象在舞的技术专栏
03-24 2637
通过HBase的相关JavaAPI，我们可以实现伴随HBase操作的MapReduce过程，比如使用MapReduce将HBase表中的数据拷贝到另外一张表。本文我们通过两个案例来进行实操一下，关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~ 目录 一、将HBase表数据复制到另外一张表 1.1需求说明 1.2编码实现 1.3测试 二、将HDFS的数据写入到HBase中 2.1需求说明 2.2编码实现 2.3测试 一、将HBase表数据复制到另外一张表 1.1需求说...
Hbase Filter 总结2
weixin_44996457的博客
10-28 202
十一、ValueFilter：值过滤器 说明：该Filter主要是对值进行过滤，用法和RowFilter类似，只不过侧重点不同而已，针对的是单元值，使用这个过滤器可以过滤掉不符合设定标准的所有单元 echo "sacn 'AMR:DWD_AMR_JB_METER-E-CURVE_201905', LIMIT=>10,FILTER=>\"ValueFilter(=,'substring...
Hbase的工具类
reddy_Hu的博客
07-17 336
以下为hbase在java客户端中会用到的工具类: package com.doit.oneMore.tools; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.had
Hbase中内置Filter详解
牛奋lch
11-22 1万+
一、建表 1、表名：“ORDER_TABLE” 2、列簇：“user”，“order”，“item” 3、表结构如下：   二、封装服务 服务代码如下： @Override public String get(String tableName, Filter filter) { Scan scan = new Scan(); scan.setFilter(filter);
HBase Java API 批量操作
weixin_40393128的博客
10-10 900
原文作者：MasterXiao 链接：https://www.jianshu.com/p/dc0e88fdce8e 内容如下： 之前我们是这样获取数据的： Getget=newGet(Bytes.toBytes("row1"));//定义get对象Resultresult=table.get(get);//通过table对象获取数据 那么问题来了，我们想要获取多条...
Spark学习笔记-HBase操作
热门推荐
PURSUE ONE PIECE
08-08 1万+
Scala版本操作HBase Java版本操作HBase
大数据学习笔记：HBase操作、问题解决与数据质量管理
本资源是一份关于大数据学习笔记文档，重点涵盖了Hadoop和HBase的管理和操作技巧。首先，提到在进行HBase操作时，如果遇到错误，应检查`/usr/local/hbase/logs`目录的日志文件以定位问题，强调了在分布式环境中处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值