2024年Java最全java操作HBase(1)，java算法基础面试题

柏林的冬

已于 2024-05-05 06:13:43 修改

阅读量420

点赞数 3

分类专栏：程序员文章标签： java hbase 算法

于 2024-05-05 06:13:41 首次发布

本文链接：https://blog.csdn.net/2301_78399550/article/details/138458142

版权

程序员专栏收录该内容

202 篇文章 0 订阅

订阅专栏

最后

由于细节内容实在太多了，为了不影响文章的观赏性，只截出了一部分知识点大致的介绍一下，每个小节点里面都有更细化的内容！

小编准备了一份Java进阶学习路线图（Xmind）以及来年金三银四必备的一份《Java面试必备指南》

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

2、HBase数据源

package com.example.demo.config;
 
import com.example.demo.service.ICodeService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.ApplicationArguments;
import org.springframework.boot.ApplicationRunner;
import org.springframework.core.annotation.Order;
import org.springframework.stereotype.Component;
 
import java.util.HashMap;
import java.util.List;
import java.util.Map;
 
@Component
@Order(1) 
public class NmsHBaseSource implements ApplicationRunner {
 
	// 管理HBase的配置信息
    public static Configuration conf;
	// 管理HBase的连接
    public static Connection conn;
	// 管理HBase数据库的连接
    public static Admin admin;
 
    @Override
    public void run(ApplicationArguments args) throws Exception {
		conf = HBaseConfiguration.create();
        System.setProperty("HADOOP_USER_NAME", "hadoop");
        conf.set("HADOOP_USER_NAME", "hadoop");
        conf.set("hbase.root.dir", "hdfs://master:9000/hbase");
        conf.set("hbase.zookeeper.quorum", "master");//配置Zookeeper的ip地址
        conf.set("hbase.zookeeper.property.clientPort", "2181");//配置zookeeper的端口

        conn = ConnectionFactory.createConnection(conf);
        admin = conn.getAdmin();
    }
	
	 /**
     * 关闭所有连接
     *
     * @throws IOException 可能出现的异常
     */
    public static void close() throws IOException {
        if (admin != null)
            admin.close();
        if (conn != null)
            conn.close();
    }
	
	/**
     * 创建表
     * @param myTableName 表名
     * @param colFamily 列族名的数组
     * @throws IOException 可能出现的异常
     */
    public static void createTable(String myTableName, String[] colFamily) throws IOException {
        TableName tableName = TableName.valueOf(myTableName);
        if (admin.tableExists(tableName)) {
            logger.info(myTableName + "表已经存在");
        } else {
            //HTableDescriptor hTableDescriptor = new HTableDescriptor(tableName);
            //for (String str : colFamily) {
               // HColumnDescriptor hColumnDescriptor = new HColumnDescriptor(str);
               // hTableDescriptor.addFamily(hColumnDescriptor);
            //}
            //admin.createTable(hTableDescriptor);

            TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tableName);    
            for (String str : colFamily) {
	            ColumnFamilyDescriptor columnFamily = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes(str)).build();// 构建列族对象                 
	            tableDescriptor.setColumnFamily(columnFamily); // 设置列族
            }
            admin.createTable(tableDescriptor.build()); // 创建表

            
        }
    }
	
	 /**
     * 添加数据
     * @param tableName 表名
     * @param rowkey 行键
     * @param colFamily 列族
     * @param col 列
     * @param value 值
     * @throws IOException 可能出现的异常
     */
    public static void insertData(String tableName,String rowkey,String colFamily,String col,String value) throws IOException {
        Table table = conn.getTable(TableName.valueOf(tableName));
        Put put = new Put(rowkey.getBytes());
        put.addColumn(colFamily.getBytes(),col.getBytes(),value.getBytes());
        table.put(put);
        table.close();
    }
	
	/**
     * 根据行键删除数据
     * @param tableName 表名
     * @param rowkey 行键
     * @throws IOException 可能出现的异常
     */
    public static void deleteData(String tableName,String rowkey) throws IOException {
        Table table = conn.getTable(TableName.valueOf(tableName));
        Delete delete = new Delete(rowkey.getBytes());
        table.delete(delete);
        table.close();
    }

    /**
     * 获取数据
     * @param tableName 表名
     * @param rowkey 行键
     * @param colFamily 列族
     * @param col 列
     * @throws IOException 可能出现的异常
     */
    public static void getData(String tableName,String rowkey,String colFamily,String col) throws IOException {
        Table table = conn.getTable(TableName.valueOf(tableName));
        Get get = new Get(rowkey.getBytes());
        get.addColumn(colFamily.getBytes(),col.getBytes());
        Result result = table.get(get);
        System.out.println(new String(result.getValue(colFamily.getBytes(),col.getBytes())));
        table.close();
    }

    public static void main(String[] args) throws IOException {
        init();
        createTable("student",new String[]{"score"});
        insertData("student","zhangsan","score","English","69");
        insertData("student","zhangsan","score","Math","86");
        insertData("student","zhangsan","score","Computer","77");
        getData("student","zhangsan","score","Computer");
        close();
    }
}

3、Hbase过滤器查询

过滤器可以分为两种：比较过滤器和专用过滤器

比较过滤器

LESS —— 小于

LESS_OR_EQUAL —— 小于等于

EQUAL —— 等于

NOT_EQUAL —— 不等于

GREATER_OR_EQUAL —— 大于等于

GREATER —— 大于

NO_OP —— 排除所有

专用过滤器

BinaryComparator —— 匹配完整字节数组，Bytes.compareTo(byte[])

BinaryPrefixComparator —— 匹配字节数组前缀
NullComparator —— 判断给定的是否为空
BitComparator —— 按位比较
RegexStringComparator —— 提供一个正则的比较器，仅支持 EQUAL 和非EQUAL
SubstringComparator —— 判断提供的子串是否出现在value中

3.1、ResultScanner结果处理handleResultScanner

/**
 *	ResultScanner结果解析
 */
public void handleResultScanner(ResultScanner scanner) throws IOException {
	//因为ResultScanner类继承了迭代器
	//使用增强for循环遍历
	for (Result rs : scanner) {
	String id = Bytes.toString(rs.getRow());
	System.out.println("当前行的rowkey为：" + id);
	//继续增强for循环得到每一行中的每一个单元格（列）
	//获取一行中的所有单元格
	for (Cell cell : rs.listCells()) {
		//获取该单元格属于的列簇
		String family = Bytes.toString(CellUtil.cloneFamily(cell));
		//获取该单元格的列名
		String colName = Bytes.toString(CellUtil.cloneQualifier(cell));
		//获取该单元格的列值
		String value = Bytes.toString(CellUtil.cloneValue(cell));
		System.out.println(family + ":" + colName + "的值为：" + value);
	}

	String name = Bytes.toString(rs.getValue("info".getBytes(), "name".getBytes()));
	String age = Bytes.toString(rs.getValue("info".getBytes(), "age".getBytes()));
	String gender = Bytes.toString(rs.getValue("info".getBytes(), "gender".getBytes()));
	String clazz = Bytes.toString(rs.getValue("info".getBytes(), "clazz".getBytes()));
	System.out.println("学号：" + id + ",姓名：" + name + ",年龄：" + age + ",性别：" + gender + ",班级：" + clazz);
	
}

3.2、rowKey过滤器RowFilter

/**
 *  行键过滤器
 *  通过RowFilter与BinaryComparator过滤比rowKey 1500100010小的所有值出来
 */
@Test
public void RowFilter1(){
	try {
		//获取表的实例
        TableName students = TableName.valueOf("students");
        Table studentTable = conn.getTable(students);

		BinaryComparator binaryComparator = new BinaryComparator("1500100010".getBytes());

		//创建一个行键过滤器的对象
		RowFilter rowFilter = new RowFilter(CompareOperator.LESS, binaryComparator);

		Scan scan = new Scan();
		scan.setFilter(rowFilter);

		ResultScanner scanner = studentTable.getScanner(scan);
		handleResultScanner(scanner);

	} catch (IOException e) {
		e.printStackTrace();
	}
}

3.3、列族过滤器FamilyFilter

/**
 * 	通过FamilyFilter与SubstringComparator查询列簇名包含in的所有列簇下面的数据
 */
@Test
public void FamilyFilter1(){
	try {
		//获取表的实例
		TableName students = TableName.valueOf("students");
        Table studentTable = conn.getTable(students);

		//创建一个比较器对象
		//只要列簇名中包含了in，就把该列簇下的所有列查询出来
		SubstringComparator substringComparator = new SubstringComparator("in");

		//创建列簇过滤器
		FamilyFilter familyFilter = new FamilyFilter(CompareOperator.EQUAL, substringComparator);

		Scan scan = new Scan();
		scan.setFilter(familyFilter);

		//获取数据
		ResultScanner scanner = studentTable.getScanner(scan);
		handleResultScanner(scanner);


	} catch (IOException e) {
		e.printStackTrace();
	}
}

/**
 *	通过FamilyFilter与 BinaryPrefixComparator 过滤出列簇以i开头的列簇下的所有数据
 *
 */
@Test
public void FamilyFilter2(){
	try {
		//获取表的实例
		TableName students = TableName.valueOf("students");
        Table studentTable = conn.getTable(students);

		//创建前缀比较器
		BinaryPrefixComparator binaryPrefixComparator = new BinaryPrefixComparator("i".getBytes());

		//创建列簇过滤器
		FamilyFilter familyFilter = new FamilyFilter(CompareOperator.EQUAL, binaryPrefixComparator);

		Scan scan = new Scan();
		scan.setFilter(familyFilter);

		ResultScanner scanner = studentTable.getScanner(scan);
		handleResultScanner(scanner);

	} catch (IOException e) {
		e.printStackTrace();
	}
}

3.4、列过滤器QualifierFilter

/**
 * 通过QualifierFilter与SubstringComparator查询列名包含ge的列的值
 *
 */
@Test
public void QualifierFilter1(){
	try {
		//获取表的实例
		TableName students = TableName.valueOf("students");
        Table studentTable = conn.getTable(students);

		//创建包含比较器
		//age
		//gender
		SubstringComparator substringComparator = new SubstringComparator("ge");

		//创建一个列过滤器
		QualifierFilter qualifierFilter = new QualifierFilter(CompareOperator.EQUAL, substringComparator);

		Scan scan = new Scan();
		scan.setFilter(qualifierFilter);

		ResultScanner scanner = studentTable.getScanner(scan);
		handleResultScanner(scanner);


	} catch (IOException e) {
		e.printStackTrace();
	}
}

/**
 *
 * 通过QualifierFilter与SubstringComparator查询列名包含ge的列的值
 */
@Test
public void QualifierFilter2(){
	try {
		//获取表的实例
		TableName students = TableName.valueOf("students");
        Table studentTable = conn.getTable(students);

		SubstringComparator substringComparator = new SubstringComparator("am");

		//创建列过滤器
		QualifierFilter qualifierFilter = new QualifierFilter(CompareOperator.EQUAL, substringComparator);

		Scan scan = new Scan();
		scan.setFilter(qualifierFilter);

		ResultScanner scanner = studentTable.getScanner(scan);
		handleResultScanner(scanner);

	} catch (IOException e) {
		e.printStackTrace();
	}
}

3.5、列值过滤器ValueFilter

/**
 *	通过ValueFilter与BinaryPrefixComparator过滤出所有的cell中值以 "张" 开头的学生
 */
@Test
public void ValueFilter1() {
	try {
		//获取表的实例
		TableName students = TableName.valueOf("students");
        Table studentTable = conn.getTable(students);

		//创建前缀比较器
		BinaryPrefixComparator binaryPrefixComparator = new BinaryPrefixComparator("张".getBytes());

		//创建列值过滤器的对象
		ValueFilter valueFilter = new ValueFilter(CompareOperator.EQUAL, binaryPrefixComparator);

		Scan scan = new Scan();
		scan.setFilter(valueFilter);

		ResultScanner scanner = studentTable.getScanner(scan);

		//因为ResultScanner类继承了迭代器
		//使用增强for循环遍历
//            for (Result rs : scanner) {
//                String id = Bytes.toString(rs.getRow());
//                System.out.println("当前行的rowkey为：" + id);
//                //继续增强for循环得到每一行中的每一个单元格（列）
//                //获取一行中的所有单元格
//                for (Cell cell : rs.listCells()) {
//                    //获取该单元格属于的列簇
//                    String family = Bytes.toString(CellUtil.cloneFamily(cell));
//                    //获取该单元格的列名
//                    String colName = Bytes.toString(CellUtil.cloneQualifier(cell));
//                    //获取该单元格的列值
//                    String value = Bytes.toString(CellUtil.cloneValue(cell));
//                    System.out.println(family + ":" + colName + "的值为：" + value);
//                }
//            }

		handleResultScanner(scanner);
	} catch (IOException e) {
		e.printStackTrace();
	}
}

/**
 *	过滤出文科的学生，只会返回以文科开头的数据列，其他列的数据不符合条件，不会返回
 */
@Test
public void ValueFilter12(){
	try {
		//获取表的实例
		HTableInterface students = conn.getTable("students");

		//创建正则比较器
		RegexStringComparator regexStringComparator = new RegexStringComparator("^文科.*");

		//创建列值过滤器
		ValueFilter valueFilter = new ValueFilter(CompareFilter.CompareOp.EQUAL, regexStringComparator);

		Scan scan = new Scan();
		scan.setFilter(valueFilter);

		ResultScanner scanner = students.getScanner(scan);
		handleResultScanner(scanner);


	} catch (IOException e) {
		e.printStackTrace();
	}
}

3.6、单列值过滤器 SingleColumnValueFilter

/**
 * 单列值过滤器
 * SingleColumnValueFilter会返回满足条件的cell所在行的所有cell的值（即会返回一行数据）
 *
 * 通过SingleColumnValueFilter与查询文科班所有学生信息
 */
@Test
public void SingleColumnValueFilter(){
	try {
		//获取表的实例
		TableName students = TableName.valueOf("students");
        Table studentTable = conn.getTable(students);

		//创建一个正则比较器
		RegexStringComparator regexStringComparator = new RegexStringComparator("^文科.*");

		//创建单列值过滤器对象
		SingleColumnValueFilter singleColumnValueFilter = new SingleColumnValueFilter(
				"info".getBytes(),
				"clazz".getBytes(),
				CompareOperator.EQUAL,
				regexStringComparator
		);

		Scan scan = new Scan();
		scan.setFilter(singleColumnValueFilter);

		ResultScanner scanner = studentTable.getScanner(scan);
		handleResultScanner(scanner);




# 总结

在这里，由于面试中MySQL问的比较多，因此也就在此以MySQL为例为大家总结分享。但是你要学习的往往不止这一点，还有一些主流框架的使用，Spring源码的学习，Mybatis源码的学习等等都是需要掌握的，我也把这些知识点都整理起来了

![面试真题](https://img-blog.csdnimg.cn/img_convert/3747314132c73d3bfcf6e64b37bfb213.webp?x-oss-process=image/format,png)


![Spring源码笔记](https://img-blog.csdnimg.cn/img_convert/b0db878805132fb281aa8f859feebcaf.webp?x-oss-process=image/format,png)

> **本文已被[CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】](https://bbs.csdn.net/topics/618154847)收录**

**[需要这份系统化的资料的朋友，可以点击这里获取](https://bbs.csdn.net/topics/618154847)**

scan.setFilter(singleColumnValueFilter);

		ResultScanner scanner = studentTable.getScanner(scan);
		handleResultScanner(scanner);




# 总结

在这里，由于面试中MySQL问的比较多，因此也就在此以MySQL为例为大家总结分享。但是你要学习的往往不止这一点，还有一些主流框架的使用，Spring源码的学习，Mybatis源码的学习等等都是需要掌握的，我也把这些知识点都整理起来了

[外链图片转存中...(img-Z4zsxvhT-1714860805533)]


[外链图片转存中...(img-PnvYVzOr-1714860805533)]

> **本文已被[CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】](https://bbs.csdn.net/topics/618154847)收录**

**[需要这份系统化的资料的朋友，可以点击这里获取](https://bbs.csdn.net/topics/618154847)**

柏林的冬

关注

3
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
2024年Java最全java操作HBase(1)，java算法基础面试题

由于细节内容实在太多了，为了不影响文章的观赏性，只截出了一部分知识点大致的介绍一下，每个小节点里面都有更细化的内容！小编准备了一份Java进阶学习路线图（Xmind）以及来年金三银四必备的一份《Java面试必备指南》本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录需要这份系统化的资料的朋友，可以点击这里获取。
复制链接

扫一扫