JAVA操作HBASE相关API

最新推荐文章于 2022-09-27 15:05:50 发布
最新推荐文章于 2022-09-27 15:05:50 发布
阅读量113 收藏
点赞数
分类专栏： 莴笋笔记 文章标签： hbase 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37219543/article/details/105064912
版权

JAVA操作HBASE相关

JAVA操作HBASE相关API

好记性不如烂笔头，本文为记录下本人使用Java操作HBASE的一些API。自用勿喷！

需要的JAR

https://download.csdn.net/download/qq_37219543/12269191

  1. 配置config ；
	/**
	 * hbase配置信息
	 * @return
	 */
	private static Configuration getConf() {
		Configuration conf = null;
		try {
			conf = HBaseConfiguration.create();
			conf.set("hbase.zookeeper.quorum", "安装HBASE所在机器ip");		//设置IP地址
			conf.set("hbase.zookeeper.property.clientPort", "port");	//设置端口号
			conf.setLong("hbase.client.scanner.timeout.period", 1200000);	//设置HBASE链接超时时间
		} catch (Exception e) {
			e.printStackTrace();
		}
		return conf;
	}
  1. 获取链接 ；
	/**
	 * 取得hbase链接
	 * @return
	 */
	public static Connection getConnection() {
		Connection conn = null;
		Configuration conf = null;
		try {
			conf = getConf();
			conn = ConnectionFactory.createConnection(conf);
		} catch (IOException e) {
			System.out.println("获取hbase链接失败，请检查配置信息");
			e.printStackTrace();
		}
		return conn;
	}
  1. 释放资源 ；
	/**
	 * 释放资源
	 * @param connection
	 * @param rs
	 */
	public static void close(Connection connection, ResultScanner rs) {
		try {
			if (rs != null) {
				rs.close();
			}
			if (connection != null) {
				connection.close();
			}			
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
  1. 删除某个rowkey下所有数据
	/**
	 * 删除某个rowkey下所有数据
	 * @param tableNameString
	 * @param rowKey
	 */
	public static void deleteByRowKey(String tableNameString, String rowKey){
		Connection conn = null;
		try {
			conn = getConnection();
			// 获取待操作的数据表对象
			Table table = conn.getTable(TableName.valueOf(tableNameString));
			// 创建删除对象
			Delete delete = new Delete(Bytes.toBytes(rowKey));
			table.delete(delete);
		} catch (Exception e) {
			System.out.println("删除失败！");
			e.printStackTrace();
		} finally {
			close(conn, null);
		}
		
	}
  1. 删除单列数据
	/**
	 * 删除单列数据
	 * @param rowkey
	 * @param cf
	 * @param column
	 * @param tablename
	 */
	public static void deleteData(String rowkey, String cf, String column, String tablename) {
		Connection conn = null;
		try {
			conn = getConnection();
			// 参数 行健
			Delete delete = new Delete(rowkey.getBytes());
			// 参数1 列族， 参数2 列
			delete.addColumn(cf.getBytes(), column.getBytes());
			Table table = conn.getTable(TableName.valueOf(tablename));
			table.delete(delete);
		} catch (Exception e) {
			System.out.println("删除失败！");
			e.printStackTrace();
		} finally {
			close(conn, null);
		}
		
	}
  1. 批量删除数据 ；
	/**
	 * 批量删除数据
	 * @param rowkey
	 * @param familyName 
	 * @param tablename
	 */
	public static void deleteDatas(String rowkey, String familyName , String tablename ) {
		Connection conn = null;
		// 创建集合存放数据
		List<Delete> dlist = new ArrayList<Delete>();
		try {
		conn = getConnection();
		Delete delete = new Delete(rowkey.getBytes());
		// 参数1 列族 参数2 列
		delete.addColumn(familyName.getBytes(), columnName1.getBytes());
		dlist.add(delete);
		Delete delete2 = new Delete(rowkey.getBytes());
		// 参数1 列族 参数2 列
		delete.addColumn(familyName.getBytes(), columnName2.getBytes());
		dlist.add(delete2);
		Table  table = conn.getTable(TableName.valueOf(tablename));
		// 用集合批量删除数据
		table.delete(dlist);
		} catch (Exception e) {
			System.out.println("删除失败！");
			e.printStackTrace();
		} finally {
			close(conn, null);
		}
		
	}
  1. 获取一个ROWKEY下所有数据信息] ；
	/**
	 * 获取同一个ROWKEY下所有数据信息
	 * @param tabname
	 * @param rowkey
	 * @param cf
	 * @return
	 */
	public static Map<String, Object> get(String tabname, String rowkey, String cf) {
		Connection conn = null;
		Table table = null;
		Result result = null;
		TableName tableName = TableName.valueOf(tabname);
		Map<String, Object> map = new HashMap<String, Object>();
		try {
			conn = getConnection();
			table = connection.getTable(tableName);
		} catch (IOException e) {
			System.out.println("获取表名失败！");
			e.printStackTrace();
			return null;
		}
		// 通过Get对象,指定rowkey,默认查询这个rowkey的所有数据
		Get get = new Get(Bytes.toBytes(rowkey));
		// 限制只查询f1列族下面所有列的值
		get.addFamily(cf.getBytes());
		try {
			// 执行get查询,返回一个result对象,所有rowkey的单元格的所有信息都会都封装在这个对象中
			result = table.get(get);
			// 将每个单元格的所有信息封装在cell对象内,再放入集合中
			List<Cell> cells = result.listCells();
			// 遍历cells
			for (Cell cell : cells) {
				// 获取CELL里面的值根据具体情况来决定获取方式
				// byte[] value = cell.cloneValue(cell);//获取单元格的值
				// byte[] rowkey = CellUtil.cloneRow(cell);//获取单元格对应的rowkey
				// byte[] columnName = CellUtil.cloneQualifier(cell);//获取单元格所属的列名
				// byte[] familyName = CellUtil.cloneFamily(cell);//获取单元格所属的列族名

				byte[] familyName = cell.getFamilyArray();
				byte[] columnName = cell.getQualifierArray();
				byte[] value = cell.getValueArray();

				map.put("familyName", familyName);
				map.put("columnName", columnName);
				map.put("value", value);
				map.put("rowkey", rowkey);
			} 
		} catch (IOException e) {
			System.out.println("查询失败！");
			e.printStackTrace();
		} finally {
			close(conn, result);
		}		
		return map;
	}
  1. 根据列的值获取数据
	/**
	 * 根据列的值获取数据
	 * 
	 * @param tableNameString
	 * @param cf
	 * @param column
	 * @param cvalue
	 * @return
	 * @throws IOException
	 */
	public static List<Map<String, Object>> queryTableCondition(String tableNameString, String cf, String column,
			String cvalue){
		DateFormat format = new SimpleDateFormat("yyyy-MM-dd hh:mm:dd");
		List<Map<String, Object>> list = new ArrayList<Map<String, Object>>();
		Scan scan = null;
		ResultScanner scanner = null;
		Connection conn = null;
		try {
			conn = getConnection();
			// 取得数据表对象
			table = conn.getTable(TableName.valueOf(tableNameString));
			// 创建查询器(参数1 列族 参数2 列 参数3 比较类型 参数4 值)
			Filter filter = new SingleColumnValueFilter(Bytes.toBytes(cf), Bytes.toBytes(column), CompareOp.EQUAL,
					Bytes.toBytes(cvalue));
			// 创建扫描器
			scan = new Scan();
			// 将查询过滤器的加入到数据表扫描器对象
			scan.setFilter(filter);
			// 执行查询操作，并获取查询结果
			scanner = table.getScanner(scan);
			// 输出结果
			for (Result result : scanner) {
				byte[] row = result.getRow();
				Map<String, Object> map = new HashMap<String, Object>();
				List<Cell> listCells = result.listCells();
				for (Cell cell : listCells) {
					// byte[] familyArray = cell.getFamilyArray();
					// byte[] qualifierArray = cell.getQualifierArray();
					// byte[] valueArray = cell.getValueArray();
	
					String familyName = Bytes.toString(CellUtil.cloneFamily(cell)); // 列族
					String columnName = Bytes.toString(CellUtil.cloneQualifier(cell)); // 列名
					String value = Bytes.toString(CellUtil.cloneValue(cell)); // 值
					long tm = cell.getTimestamp(); // hbase数据抽取时间戳
					Date hdate = new Date(tm);
					String df = format.format(hdate);
	
					map.put("familyName", familyName);
					map.put("columnName", columnName);
					map.put("value", value);
					map.put("rowkey", new String(row));
					map.put("hdate", df);
	
				}
				list.add(map);
			} 
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			close(conn, result);
		}		
		return list;

	}
  1. 对表进行flush和major_compact
	/**
	 * 对表进行flush和major_compact
	 * @param tableName
	 */
	public static void flush(String tableName) {
		Connection conn = null;
		TableName name = TableName.valueOf(tableName);
		try {
			conn = getConnection();
			Admin admin = conn.getAdmin();		
			admin.flush(name);
			admin.majorCompact(name);
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			close(conn, null);
		}
		
	}
  1. 检查列表
	/**
	 * 获取HBASE表格的所有列族
	 * @param tableName
	 */
	public static List<String> getRowName(String tableName){
		Connection conn = null;
		List<String> list = new ArrayList<>();
		try {
			conn = getConnection();
			Table table=conn.getTable(TableName.valueOf(tableName));
			HTableDescriptor hTableDescriptor=table.getTableDescriptor();
	    	for(HColumnDescriptor fdescriptor : hTableDescriptor.getColumnFamilies()){
	    	    list.add(fdescriptor.getNameAsString());
	    	}
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			close(conn, null);
		}    	
    	return list;
    }
  1. 获取某个rowkey下所有的列
	/**
	 * 获取某个rowkey下所有的列
	 * @param rowkey
	 * @param tablename
	 * @param cf
	 * @return
	 */
	public static List<String> getcolname(String rowkey, String tablename, String cf){
		Connection conn = null;
		Result result = null;
		List<String> cols = new ArrayList<String>();
		try {
			conn = getConnection();
			Get get = new Get(Bytes.toBytes(rowkey));
			Table table = conn.getTable(TableName.valueOf(tablename));
			result = table.get(get);
			Map<byte[], byte[]> familyMap = result.getFamilyMap(Bytes.toBytes(cf));
			for (Map.Entry<byte[], byte[]> entry : familyMap.entrySet()) {
				cols.add(Bytes.toString(entry.getKey()));
				 //System.out.println(Bytes.toString(entry.getKey()));
			}
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			close(conn, result );
		}
		return cols;
	}
  1. 计算某个表的数据总量
	/**
	 * 计算某个表的数据总量,这个方法挺好用， 比hshell的count计算起来快很多
	 * @param tablename
	 * @param conn
	 */
	@SuppressWarnings("resource")
	public static void rowCountByCoprocessor(String tablename){
		Connection conn = null;
	    try {
	    	conn = getConnection();
	        Admin admin = conn.getAdmin();
	        TableName name=TableName.valueOf(tablename);
	        //先disable表，添加协处理器后再enable表
	        admin.disableTable(name);
	        HTableDescriptor descriptor = admin.getTableDescriptor(name);
	        String coprocessorClass = "org.apache.hadoop.hbase.coprocessor.AggregateImplementation";
	        if (! descriptor.hasCoprocessor(coprocessorClass)) {
	            descriptor.addCoprocessor(coprocessorClass);
	        }
	        admin.modifyTable(name, descriptor);
	        admin.enableTable(name);
	        //计时器
	        StopWatch stopWatch = new StopWatch();
	        stopWatch.start();
	        Scan scan = new Scan();
	        AggregationClient aggregationClient = new AggregationClient(getConf());
	        long conutl = aggregationClient.rowCount(name, new LongColumnInterpreter(), scan);
	        System.out.println("RowCount: " + conutl);
	        stopWatch.stop();
	        System.out.println("统计耗时：" + stopWatch.getTotalTimeMillis());
	    } catch (Throwable e) {
	        e.printStackTrace();
	    } finally {
			close(conn, null);
		}
	}
  1. 删除一个表
/**
	 * 删除一个表
	 * @param tableName
	 */
    public   void deleteTable(String tableName )   {
    	Connection conn = null;
        try {
        	conn = getConnection();
            Admin admin = conn.getAdmin();
            TableName name=TableName.valueOf(tableName);
            if (admin.tableExists(name)) {
                admin.disableTable(name);// 禁用表
                admin.deleteTable(name);// 删除表
                System.err.println("删除表成功!");
            } else {
                System.err.println("删除的表不存在！");
            }            
        } catch (Exceptione) {
            e.printStackTrace();
        } finally {
        	if(admin != null) {		
        		admin.close();
			}
			close(conn, null);
		}
    }
  1. SCAN的filter用法
	/**
     *SCAN的filter用法
     * @param htable
     */
	public static void deleteDataTimeRange(String htable) {
		TableName name = TableName.valueOf(htable);
		ResultScanner rs = null;
		Connection conn = null;
		try {
			// 获取HBASE连接
			conn = getConnection();
			Table table = conn.getTable(name);
			// 创建扫描器
			Scan scan = new Scan();
			// 查最近一个月入库的数据
			// Date startTime = new Date();
			// Calendar calendar = Calendar.getInstance();//日历对象
			// calendar.setTime(startTime);//设置当前日期
			// calendar.add(Calendar.MONTH, -1);//月份减一
			// Date endtime = calendar.getTime();
			// long end = endtime.getTime();
			// long start = startTime.getTime();
			// scan.setTimeRange(start, end); // 设置扫描开始时间和结束时间
			// scan.setMaxVersions();
			// //指定最大的版本个数。如果不带任何参数调用setMaxVersions，表示取所有的版本。如果不掉用setMaxVersions，只会取到最新的版本.
			// 列名前缀匹配， 已列名做查询条件的速度会灰常慢， 不是必要不建议用
			// ColumnPrefixFilter filter = new
			// ColumnPrefixFilter(Bytes.toBytes(column));
			// 用于列名过滤
			// QualifierFilter filter = new QualifierFilter(CompareOp.EQUAL,new
			// SubstringComparator(column));
			// scan.setFilter(filter);

			// 提取rowkey以111开头的数据
			// RowFilter filter = new RowFilter(CompareOp.GREATER_OR_EQUAL,new
			// BinaryPrefixComparator("111".getBytes()));
			// scan.setFilter(filter);
			// 设置扫描器起始位置
			scan.setStartRow("0".getBytes());
			// 设置扫描器结束位置
			scan.setStopRow("111".getBytes());
			rs = table.getScanner(scan);
			for (Result result : rs) {
				byte[] row = result.getRow();
				List<Cell> listCells = result.listCells();
				System.out.println("ROWKEY:" + new String(row));
				for (Cell cell : listCells) {
					long tm = cell.getTimestamp(); // 时间戳
					String familyName = Bytes.toString(CellUtil.cloneFamily(cell)); // 列族
					String columnName = Bytes.toString(CellUtil.cloneQualifier(cell)); // 列名
					String value = Bytes.toString(CellUtil.cloneValue(cell)); // 值

					 System.out.println("rowkey:" + new String(row) + ", familyName:" + familyName + 
							 ", columnname:" + columnName + ", cvalue:" + value + 
							 ", tm:" + tm);
				}
			}
		} catch (IOException e) {
			e.printStackTrace();
		} finally {
			close(conn, rs);

		}

	}

	/**
     * 插入一条数据
     * @param tableName
     * @param rowKey
     * @param family
     * @param quailifer
     * @param value
     */
    public void insert(String tableName, String rowKey, String family,
            String quailifer, String value) {
        HTableInterface table = null;
        try {
            table = hTablePool.getTable(tableName) ;//针对哪张表操作
            Put put = new Put(rowKey.getBytes());//增添数据通过Put对象操作，添加一条rowkey
            put.add(family.getBytes(), quailifer.getBytes(), value.getBytes()) ;//添加哪个列族，列，value值。
            table.put(put);//放置到hbase的对象中去。
        } catch (Exception e) {
            e.printStackTrace();
        }finally
        {
            try {
                table.close() ;
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
  1. 插入单列和时间戳的单列
	/**
     * 插入单列和时间戳的单列
     * @param tableName
     * @param rowKey
     * @param family
     * @param quailifer
     * @param value
     */
    public void insert(String tableName, String rowKey, String family, String quailifer, String value) {
    	Connection conn = null;
        try {
        	conn = getConnection();
        	TableName name = TableName.valueOf(tableName);
            table = conn.getTable(name) ;//针对哪张表操作
            Put put = new Put(rowKey.getBytes());//增添数据通过Put对象操作，添加一条rowkey
            put.addColumn(family.getBytes(), quailifer.getBytes(), value.getBytes()) ;//添加哪个列族，列，value值。
//            long ts = System.currentTimeMillis();;	//时间戳
//            put.addColumn(family.getBytes(), quailifer.getBytes(), ts, value.getBytes());	//插入带时间戳的数据
            table.put(put);//放置到hbase的对象中去。
        } catch (Exception e) {
            e.printStackTrace();
        }finally
        {
        	close(conn, null);
        }
    }
蛋肠不要葱
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用JAVA API操作HBase
梦忆故城的博客
02-03 919
1.获取连接 在java中连接HBase集群，只需要提供HMaster服务的IP地址、端口号、HBase在HDFS上的根目录地址、Zookeeper集群地址即可。使用ConnectionFactory静态create方法即可。 /** * 配置ss */ static Configuration config = null; private Connection connec...
HBase JavaAPI开发
06-21
使用JavaAPI实现HBase的ddl（创建表、删除表、修改表（添加列族等））、dml（添加数据、删除数据）、dql（查询数据（get、scan））等操作 除此之外还包含一些其他操作：命名空间的应用、快照的应用等 对应（《HBase...
Springboot整合HBase客户端
LoveFly826的博客
07-03 1436
1.HBase单机集群搭建 2.springboot整合HBase客户端 Hbase单机伪集群搭建 拉取镜像 docker pull harisekhon/hbase 启动容器 docker run -d -h docker-hbase \ -p 2181:2181 \ -p 8099:8080 \ -p 8085:8085 \ -p 9090:9090 \ -p 9000:9000 \ -p 9095:909
hbase的javaAPI操作
qq_41258650的博客
12-27 403
连接配置 导入依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> <scope>test</scope>
maven实战
dasheyi8825的博客
03-10 184
一、maven简介 1、我们每天除了编写源代码以外,有相当一部分时间花在了编译、单元测试、生成报告、打包和部署等繁琐的且不起眼的工作上,这就是构建.maven是一个异常强大的构建工具,能帮我们自动化构建过程,从清理、编译、测试到生成报告,再到打包部署. 2、几乎所有的Java应用都会用到第三方类库,随着类库的增多,版本不一致,版本冲突,依赖臃肿等问题接踵而来,针对这些问题maven提...
maven pom引入依赖jar包（仅适用我自己理解，其中有一些代码没有贴出来）
邪神_博客
08-22 2451
仅适用我自己理解，其中有一些代码没有贴出来,主要是理解maven配置一些jar包时候，注意的一些问题
java操作hbase，增删查改
01-20
在Java中操作HBase，即使用Java API对HBase数据库进行增、删、查、改操作，是一项常见的任务。HBase是一种分布式、行式存储的NoSQL数据库，它基于Google的Bigtable设计，并构建在Hadoop之上。这篇文章将通过一个简单...
使用Java对Hbase操作总结及示例代码
08-18
在使用Java API时，Client端需要知道HBase的配置环境，如存储地址，zookeeper等信息。这些信息通过Configuration对象来封装。 Configuration对象可以通过HBaseConfiguration.create()方法创建。在调用...
HBase常用Java API
01-07
本节介绍与 HBase 数据存储管理相关的 Java API（基于 HBase 版本 1.2.3）。 HBase 的常用Java API HBase 主要包括 5 大类操作：HBase 的配置、HBase 表的管理、列族的管理、列的管理、数据操作等。 1）org.apache....
Hbase Java API
11-20
HBase 的 Java API 是通过 HBaseConfiguration 对象来操作的。HBaseConfiguration 代表的是 HBase 配置信息，可以通过两个构造方式来创建：public HBaseConfiguration() 和 public HBaseConfiguration(final ...
org.apache.hadoop.hbase.coprocessor.AggregateImplementation 来统计表的行数
xiao_jun_0820的专栏
05-09 6097
hbase自带了一个juh org.apache.hadoop.hbase.coprocessor.AggregateImplementation
Java API 读取HBase表数据
说文科技，做有态度的研究。
11-14 7990
Java API 读取HBase表数据 1. 在使用java api 去获取数据的时候，先用 hbase shell 展示一下 hbase 中的表。 hbase(main):005:0&gt; scan 'tsdb-uid' ROW COLUMN+CELL ...
2019.01.20-bug记录
tangerine_的博客
01-20 128
1.mysql重启：mysql quit；#退出 mysql -uroot;#重新进入 2.bug:mysql5.7版本：sql_mode=only_full_group_by问题 [Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column ...
HBase Coprocessor 剖析与编程实践
weixin_30908707的博客
10-30 225
1.起因(Why HBase Coprocessor) HBase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(<0.92)Hbase中，统计数据表的总行数，需要使用Counter方法，执行一次MapReduce Job才能得到。虽然HBase在数据存储层中集成了MapReduce，能够有效用于数据表的分布式...
maven 之aggregation and inheritance
独行天下
06-24 833
Aggregation例子： <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
Js 原型链
海之霸痞老板
10-13 125
var a = {} console.log(a.__proto__=== Object.prototype); // true var A = function(){} var a = new A(); console.log(a.__proto__=== A.prototype); // true var a1 = {} var a2 = Object.create...
JAVA使用HttpClient调用webservice接口
果果的小莴笋
03-26 3667
JAVA使用HttpClient调用webservice接口 关于HttpClient用法参考： HttpClient-4.5.2官方教程完整翻译 官方教程原文链接 HttpClient下载地址： 链接：https://pan.baidu.com/s/1ScuxtWBdUvh-0xcLZRaa1Q 提取码：gbqb 调用webservice接口的代码： 个人笔记，自用勿喷！ package co...
Tomcat6/7应用服务器-禁用RC4等弱密码套件
果果的小莴笋
08-09 1759
Tomcat6/7应用服务器-禁用RC4等弱密码套件 密码套件根据Tomcat应用服务器和jdk使用。修改conf\server.xml文件配置的sslEnabledpotocols、ciphers sslEnabledpotocols的值一般为：TLSv1,TLSv1.1,TLSv1.2 Java6 + Tomcat6/7 的ciphers TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA, TLS_ECDHE_RSA_WITH_AES_256_CBC_SHA, TLS_ECDHE
Java实现替换Word中文本
果果的小莴笋
09-27 1756
Java实现替换Word中文本
使用java api操作hbase
最新发布
01-02
使用Java API操作HBase非常简单和方便。HBase提供了一个Java库，可以使用它来连接和与HBase进行交互。下面是使用Java API操作HBase的步骤： 1. 首先，需要导入HBase的Java库。可以在项目的构建文件（例如pom.xml）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值