Hadoop 之 Hbase 配置与使用（四）

已于 2023-07-26 02:34:07 修改
阅读量3.8k 收藏 12
点赞数 2
分类专栏： Hadoop 文章标签： hadoop hbase bigdate hdfs zookeeper
于 2023-07-26 02:10:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42176639/article/details/131796472
版权

Hadoop 之 Hbase 配置与使用

一.Hbase 下载

HBase 是一个分布式的、面向列的开源数据库：Hbase API

1.Hbase 下载

Hbase 下载

在这里插入图片描述

跳转到下载链接

在这里插入图片描述

二.Hbase 配置

1.单机部署

## 1.创建安装目录
mkdir -p /usr/local/hbase
## 2.将压缩包拷贝到虚拟机并解压缩
tar zxvf hbase-3.0.0-alpha-4-bin.tar.gz -C /usr/local/hbase/
## 3.添加环境变量
echo 'export HBASE_HOME=/usr/local/hbase/hbase-3.0.0-alpha-4' >> /etc/profile
echo 'export PATH=${HBASE_HOME}/bin:${PATH}' >> /etc/profile
source /etc/profile
## 4.指定 JDK 版本
echo 'export JAVA_HOME=/usr/local/java/jdk-11.0.19' >> $HBASE_HOME/conf/hbase-env.sh
## 5.创建 hbase 存储目录
mkdir -p /home/hbase/data
## 6.修改配置
vim $HBASE_HOME/conf/hbase-site.xml
     添加如下信息
	 <property>
	    <name>hbase.rootdir</name>
	    <value>file:///home/hbase/data</value>
	 </property>

在这里插入图片描述

## 1.进入安装目录
cd $HBASE_HOME
## 2.启动服务
./bin/start-hbase.sh

在这里插入图片描述

## 1.进入安装目录
cd $HBASE_HOME
## 2.关闭服务
./bin/stop-hbase.sh

在这里插入图片描述

2.伪集群部署（基于单机配置）

## 1.修改 hbase-env.sh 
echo 'export JAVA_HOME=/usr/local/java/jdk-11.0.19' >> $HBASE_HOME/conf/hbase-env.sh
echo 'export HBASE_MANAGES_ZK=true' >> $HBASE_HOME/conf/hbase-env.sh
## 2.修改 hbase_site.xml
vim $HBASE_HOME/conf/hbase-site.xml
	 <!-- 将 hbase 数据保存到 hdfs -->
	 <property>
	    <name>hbase.rootdir</name>
	    <value>hdfs://nn/hbase</value>
	 </property>
	 <!-- 分布式配置 -->
	 <property>
	    <name>hbase.cluster.distributed</name>
	    <value>true</value>
	 </property>
	 <!-- 配置 ZK 地址 -->
	 <property>
	    <name>hbase.zookeeper.quorum</name>
	    <value>nn</value>
	 </property>
	 <!-- 配置 JK 地址 -->
	 <property>
	    <name>dfs.replication</name>
	    <value>1</value>
	 </property>
## 3.修改 regionservers 的 localhost 为 nn
echo nn > $HBASE_HOME/conf/regionservers

在这里插入图片描述

## 1.进入安装目录
cd $HADOOP_HOME
## 2.启动 hadoop 服务
./sbin/start-all.sh

在这里插入图片描述

## 1.进入安装目录
cd $HBASE_HOME
## 2.启动服务
./bin/start-hbase.sh

在这里插入图片描述

## 1.进入安装目录
cd $HBASE_HOME
## 2.关闭主节点服务（直接关服务是关不掉的，如图）
. bin/hbase-daemon.sh stop master
## 3.关闭服务
./bin/stop-hbase.sh

在这里插入图片描述

3.集群部署

## 1.创建 zookeeper 数据目录
mkdir -p $HBASE_HOME/zookeeper/data
## 2.进入安装目录
cd $HBASE_HOME/conf
## 3.修改环境配置
vim hbase-env.sh
## 添加 JDK / 启动外置 Zookeeper
	# JDK
	export JAVA_HOME=/usr/local/java/jdk-11.0.19
	# Disable Zookeeper
	export HBASE_MANAGES_ZK=false
## 4.修改 hbase-site.xml
vim hbase-site.xml
## 配置如下信息
	<!--允许的最大同步时钟偏移-->
	<property>
	  <name>hbase.master.maxclockskew</name>`
	  <value>6000</value>
	</property>
	<!--配置 HDFS 存储实例-->
	<property>
	  <name>hbase.rootdir</name>
	  <value>hdfs://nn:9000/hbase</value>
	</property>
	<!--启用分布式配置-->
	<property>
	  <name>hbase.cluster.distributed</name>
	  <value>true</value>
	</property>
	<!--配置 zookeeper 集群节点-->
	<property>
	  <name>hbase.zookeeper.quorum</name>
	  <value>zk1,zk2,zk3</value>
	</property>
	<!--配置 zookeeper 数据目录-->
	<property>
	  <name>hbase.zookeeper.property.dataDir</name>
	  <value>/usr/local/hbase/hbase-3.0.0-alpha-4/zookeeper/data</value>
	</property>
	<!-- Server is not running yet -->
	<property>
      <name>hbase.wal.provider</name>
      <value>filesystem</value>
    </property>
## 5.清空 regionservers 并添加集群节点域名
echo '' > regionservers
echo 'nn' >> regionservers
echo 'nd1' >> regionservers
echo 'nd2' >> regionservers
## 6.分别为 nd1 / nd2 创建 hbase 目录
mkdir -p /usr/local/hbase
## 7.分发 hbase 配置到另外两台虚拟机 nd1 / nd2
scp -r /usr/local/hbase/hbase-3.0.0-alpha-4 root@nd1:/usr/local/hbase
scp -r /usr/local/hbase/hbase-3.0.0-alpha-4 root@nd2:/usr/local/hbase
## 8.分发环境变量配置
scp /etc/profile root@nd1:/etc/profile
scp /etc/profile root@nd2:/etc/profile

1.启动 hadoop 集群

Hadoop 集群搭建参考：Hadoop 搭建

## 1.启动 hadoop
cd $HADOOP_HOME
. sbin/start-all.sh

在这里插入图片描述

## 1.关闭 hadoop 安全模式
hadoop dfsadmin -safemode leave

在这里插入图片描述

2.启动 zookeeper 集群

ZOOKEEPER 集群搭建说明

## 1.启动 zookeeper 集群
zkServer.sh start && ssh root@zk2 "source /etc/profile && zkServer.sh start && exit" && ssh root@zk3 "source /etc/profile && zkServer.sh start && exit"
## 2.查看状态
zkServer.sh status && ssh root@zk2 "source /etc/profile && zkServer.sh status && exit" && ssh root@zk3 "source /etc/profile && zkServer.sh status && exit"

在这里插入图片描述

3.启动 hbase 集群

## 1.分别为 nn /nd1 / nd2 配置 zookeeper 域名解析
echo '192.168.1.100 zk1' >> /etc/hosts
echo '192.168.1.101 zk2' >> /etc/hosts
echo '192.168.1.102 zk3' >> /etc/hosts
## 2.启动 habase
cd $HBASE_HOME
. bin/start-hbase.sh
## 3.停止服务
. bin/hbase-daemon.sh stop master
. bin/hbase-daemon.sh stop regionserver
. bin/stop-hbase.sh

在这里插入图片描述

查看 UI 监控：http://192.168.1.6:16010/master-status

在这里插入图片描述

4.集群启停脚本

#!/bin/bash

case $1 in
"start")
	## start hadoop
	start-all.sh
	## start zookeeper (先配置免密登录)
	zkServer.sh start && ssh root@zk2 "source /etc/profile && zkServer.sh start && exit" && ssh root@zk3 "source /etc/profile && zkServer.sh start && exit"
	## start hbase
	start-hbase.sh
	;;
"stop")
	## stop hbase
	ssh root@nd1 "source /etc/profile && hbase-daemon.sh stop regionserver && stop-hbase.sh && exit"
	ssh root@nd2 "source /etc/profile && hbase-daemon.sh stop regionserver && stop-hbase.sh && exit"
	hbase-daemon.sh stop master  && hbase-daemon.sh stop regionserver && stop-hbase.sh
	## stop zookeeper
	zkServer.sh stop && ssh root@zk2 "source /etc/profile && zkServer.sh stop && exit" && ssh root@zk3 "source /etc/profile && zkServer.sh stop && exit"
	## stop hadoop
	stop-all.sh
	;;
*)
	echo "pls inout start|stop"
	;;
esac

三.测试

## 1.为 Windows 增加 Hosts 配置，添加 Hbase 集群域名解析 编辑如下文件
C:\Windows\System32\drivers\etc\hosts
## 2.增加如下信息
192.168.1.6 nn
192.168.1.7 nd1
192.168.1.8 nd2

测试配置效果

在这里插入图片描述

JDK 版本

在这里插入图片描述

工程结构

在这里插入图片描述

1.Pom 配置

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>hbase-demo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>11</maven.compiler.source>
        <maven.compiler.target>11</maven.compiler.target>
        <spring.version>2.7.8</spring.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <version>${spring.version}</version>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.28</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>2.0.32</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>3.0.0-alpha-4</version>
        </dependency>


    </dependencies>

</project>

2.Yml 配置

hbase:
  zookeeper:
    quorum: 192.168.1.100,192.168.1.101,192.168.1.102
    property:
      clientPort: 2181
  master:
    ip: 192.168.1.6
    port: 16000

3.Hbase 配置类

package org.example.config;


import org.apache.hadoop.hbase.HBaseConfiguration;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * @author Administrator
 * @Description
 * @create 2023-07-25 0:26
 */
@Configuration
public class HbaseConfig {

    @Value("${hbase.zookeeper.quorum}")
    private String zookeeperQuorum;

    @Value("${hbase.zookeeper.property.clientPort}")
    private String clientPort;

    @Value("${hbase.master.ip}")
    private String ip;

    @Value("${hbase.master.port}")
    private int masterPort;

    @Bean
    public org.apache.hadoop.conf.Configuration hbaseConfiguration(){
        org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum",zookeeperQuorum);
        conf.set("hbase.zookeeper.property.clientPort",clientPort);
        conf.set("hbase.masters", ip + ":" + masterPort);
        conf.set("hbase.client.keyvalue.maxsize","20971520");
        return HBaseConfiguration.create(conf);
    }

}

4.Hbase 连接池配置

package org.example.config;

import lombok.Data;
import lombok.extern.slf4j.Slf4j;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.springframework.stereotype.Component;

import javax.annotation.PostConstruct;
import javax.annotation.Resource;
import java.util.Enumeration;
import java.util.Vector;

/**
 * @author Administrator
 * @Description
 * @create 2023-07-25 22:39
 */
@Slf4j
@Component
public class HbaseConnectionPool {

    /**
     * 连接池的初始大小
     * 连接池的创建步长
     * 连接池最大的大小
     */
    private int nInitConnectionAmount = 3;
    private int nIncrConnectionAmount = 3;
    private int nMaxConnections = 20;

    /**
     * 存放连接池中数据库连接的向量
     */
    private Vector vcConnections = new Vector();

    /**
     * 注入连接配置
     */
    @Resource
    private Configuration hbaseConfiguration;

    /**
     * 初始化连接
     */
    @PostConstruct
    public void init() {
        createConnections(nInitConnectionAmount);
    }

    /**
     * 获取可用连接
     * @return
     */
    public synchronized Connection getConnection() {
        Connection conn;
        while (null == (conn =getFreeConnection())){
            try {
                wait(1000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
        // 返回获得的可用的连接
        return conn;
    }

    /**
     * 释放连接
     * @param conn
     */
    public synchronized void releaseConnection(Connection conn) {
        ConnectionWrapper connWrapper;
        Enumeration enumerate = this.vcConnections.elements();
        while(enumerate.hasMoreElements()) {
            connWrapper = (ConnectionWrapper) enumerate.nextElement();
            if (conn == connWrapper.getConnection()) {
                connWrapper.setBusy(false);
                break;
            }
        }
    }

    /**
     * 获取可用连接 当前无可用连接则创建 如果已达到最大连接数则返回 null 阻塞后重试获取
     * @return
     */
    private Connection getFreeConnection() {
        Connection conn;
        if (null == (conn = findFreeConnection())) {
            // 创建新连接
            createConnections(nIncrConnectionAmount);
            // 查看是否有可用连接
            if (null == (conn = findFreeConnection())) {
                return null;
            }
        }
        return conn;
    }

    /**
     * 查找可用连接
     * @return
     */
    private Connection findFreeConnection() {
        ConnectionWrapper connWrapper;
        //遍历向量内连接对象
        Enumeration enumerate = vcConnections.elements();
        while (enumerate.hasMoreElements()) {
            connWrapper = (ConnectionWrapper) enumerate.nextElement();
            //判断当前连接是否被占用
            if (!connWrapper.isBusy()) {
                connWrapper.setBusy(true);
                return connWrapper.getConnection();
            }
        }
        // 返回 NULL
        return null;
    }

    /**
     * 创建新连接
     * @param counts
     */
    private void createConnections(int counts) {
        // 循环创建指定数目的数据库连接
        try {
            for (int i = 0; i < counts; i++) {
                if (this.nMaxConnections > 0  && this.vcConnections.size() >= this.nMaxConnections) {
                    log.warn("已达到最大连接数...");
                    break;
                }
                // 创建一个新连接并加到向量
                vcConnections.addElement(new ConnectionWrapper(newConnection()));
            }
        } catch (Exception e) {
            log.error("创建连接失败...");
        }
    }

    /**
     * 创建新连接
     * @return
     */
    private Connection newConnection() {
        /** hbase 连接 */
        Connection conn = null;
        // 创建一个数据库连接
        try {
            conn = ConnectionFactory.createConnection(hbaseConfiguration);
        } catch (Exception e) {
            log.error("HBase 连接失败...");
        }

        // 返回创建的新的数据库连接
        return conn;
    }

    /**
     * 封装连接对象
     */
    @Data
    class ConnectionWrapper {

        /**
         * 数据库连接
         */
        private Connection connection;

        /**
         * 此连接是否正在使用的标志，默认没有正在使用
         */
        private boolean busy = false;

        /**
         * 构造函数，根据一个 Connection 构告一个 PooledConnection 对象
         */
        public ConnectionWrapper(Connection connection) {
            this.connection = connection;
        }
    }

}

5.测试类

package org.example.controller;

import lombok.extern.slf4j.Slf4j;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CompareOperator;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.filter.ColumnValueFilter;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.util.Bytes;
import org.example.config.HbaseConnectionPool;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import javax.annotation.Resource;
import java.io.IOException;
import java.util.*;

/**
 * @author Administrator
 *
 * 可利用 aop 进行连接获取和释放处理
 *
 * @Description
 * @create 2023-07-25 23:06
 */
@Slf4j
@RestController
@RequestMapping("/hbase")
public class HbaseController {

    @Resource
    private HbaseConnectionPool pool;

    /**
     * 表名
     */
    private String tbl_user = "tbl_user";

    /**
     * 创建表(不允许重复创建)
     */
    @GetMapping("/create")
    public void createTable(){
        Connection conn = null;
        //获取连接
        try {
            conn = pool.getConnection();
            Admin admin = conn.getAdmin();
            TableName tableName = TableName.valueOf(tbl_user);
            if (!admin.tableExists(tableName)){
                //指定表名
                TableDescriptorBuilder tdb_user = TableDescriptorBuilder.newBuilder(tableName);
                //添加列族(info,data)
                ColumnFamilyDescriptor hcd_info = ColumnFamilyDescriptorBuilder.of("name");
                ColumnFamilyDescriptor hcd_data = ColumnFamilyDescriptorBuilder.of("age");
                tdb_user.setColumnFamily(hcd_info);
                tdb_user.setColumnFamily(hcd_data);
                //创建表
                TableDescriptor td = tdb_user.build();
                admin.createTable(td);
            }
        } catch (IOException e) {
            throw new RuntimeException(e);
        } finally {
            if (null != conn){
                pool.releaseConnection(conn);
            }
        }
    }

    /**
     * 删除表(不允许删除不存在的表)
     */
    @GetMapping("/drop")
    public void dropTable(){
        Connection conn = null;
        try {
            conn = pool.getConnection();
            Admin admin = conn.getAdmin();
            TableName tableName = TableName.valueOf(tbl_user);
            if (admin.tableExists(tableName)){
                admin.disableTable(tableName);
                admin.deleteTable(tableName);
            }
        } catch (IOException e) {
            throw new RuntimeException(e);
        } finally {
            if (null != conn){
                pool.releaseConnection(conn);
            }
        }
    }

    /**
     * 插入测试
     */
    @GetMapping("/insert")
    public void insert(){
        log.info("---插入一列数据---1");
        putData(tbl_user, "row1", "name", "a", "zhangSan");
        putData(tbl_user, "row1", "age", "a", "18");
        log.info("---插入多列数据---2");
        putData(tbl_user, "row2", "name",
                Arrays.asList("a", "b", "c"),  Arrays.asList("liSi", "wangWu", "zhaoLiu"));
        log.info("---插入多列数据---3");
        putData(tbl_user, "row3", "age",
                Arrays.asList("a", "b", "c"),  Arrays.asList("18","19","20"));
        log.info("---插入多列数据---4");
        putData(tbl_user, "row4", "age",
                Arrays.asList("a", "b", "c"),  Arrays.asList("30","19","20"));

    }

    /**
     * 插入数据（单条）
     * @param tableName 表名
     * @param rowKey rowKey
     * @param columnFamily 列族
     * @param column 列
     * @param value 值
     * @return true/false
     */
    public boolean putData(String tableName, String rowKey, String columnFamily, String column,
                           String value) {
        return putData(tableName, rowKey, columnFamily, Arrays.asList(column),
                Arrays.asList(value));
    }

    /**
     * 插入数据（批量）
     * @param tableName 表名
     * @param rowKey rowKey
     * @param columnFamily 列族
     * @param columns 列
     * @param values 值
     * @return true/false
     */
    public boolean putData(String tableName, String rowKey, String columnFamily,
                           List<String> columns, List<String> values) {
        Connection conn = null;
        try {
            conn = pool.getConnection();
            Table table = conn.getTable(TableName.valueOf(tableName));
            Put put = new Put(Bytes.toBytes(rowKey));
            for (int i=0; i<columns.size(); i++) {
                put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(columns.get(i)), Bytes.toBytes(values.get(i)));
            }
            table.put(put);
            table.close();
            return true;
        } catch (IOException e) {
            e.printStackTrace();
            return false;
        } finally {
            if (null != conn){
                pool.releaseConnection(conn);
            }
        }
    }

    /**
     * 查询测试
     */
    @GetMapping("/query")
    public void getResultScanner(){
        log.info("全表数据:{}",getData(tbl_user));
        log.info("过滤器,按年龄 [18]:{}",getData(tbl_user,new ColumnValueFilter(Bytes.toBytes("age"), Bytes.toBytes("a"), CompareOperator.EQUAL, Bytes.toBytes("18"))));
        log.info("根据 rowKey [row1]:{}",getData(tbl_user,"row1"));
        log.info("根据 rowKey 列族 列 [row2 name a]:{}",getData(tbl_user,"row2","name","a"));
    }

    /**
     * 获取数据（全表数据）
     * @param tableName 表名
     * @return map
     */
    public List<Map<String, String>> getData(String tableName) {
        List<Map<String, String>> list = new ArrayList<>();
        Connection conn = null;
        try {
            conn = pool.getConnection();
            Table table = conn.getTable(TableName.valueOf(tableName));
            Scan scan = new Scan();
            ResultScanner resultScanner = table.getScanner(scan);
            for(Result result : resultScanner) {
                HashMap<String, String> map = new HashMap<>(result.listCells().size());
                map.put("row", Bytes.toString(result.getRow()));
                for (Cell cell : result.listCells()) {
                    //列族
                    String family = Bytes.toString(cell.getFamilyArray(), cell.getFamilyOffset(), cell.getFamilyLength());
                    //列
                    String qualifier = Bytes.toString(cell.getQualifierArray(), cell.getQualifierOffset(), cell.getQualifierLength());
                    //值
                    String data = Bytes.toString(cell.getValueArray(), cell.getValueOffset(), cell.getValueLength());
                    map.put(family + ":" + qualifier, data);
                }
                list.add(map);
            }
            table.close();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (null != conn){
                pool.releaseConnection(conn);
            }
        }
        return list;
    }

    /**
     * 获取数据（根据 filter）
     * @param tableName 表名
     * @param filter 过滤器
     * @return map
     */
    public List<Map<String, String>> getData(String tableName, Filter filter) {
        List<Map<String, String>> list = new ArrayList<>();
        Connection conn = null;
        try {
            conn = pool.getConnection();
            Table table = conn.getTable(TableName.valueOf(tableName));
            Scan scan = new Scan();
            // 添加过滤器
            scan.setFilter(filter);
            ResultScanner resultScanner = table.getScanner(scan);
            for(Result result : resultScanner) {
                HashMap<String, String> map = new HashMap<>(result.listCells().size());
                map.put("row", Bytes.toString(result.getRow()));
                for (Cell cell : result.listCells()) {
                    String family = Bytes.toString(cell.getFamilyArray(), cell.getFamilyOffset(), cell.getFamilyLength());
                    String qualifier = Bytes.toString(cell.getQualifierArray(), cell.getQualifierOffset(), cell.getQualifierLength());
                    String data = Bytes.toString(cell.getValueArray(), cell.getValueOffset(), cell.getValueLength());
                    map.put(family + ":" + qualifier, data);
                }
                list.add(map);
            }
            table.close();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (null != conn){
                pool.releaseConnection(conn);
            }
        }
        return list;
    }

    /**
     * 获取数据（根据 rowKey）
     * @param tableName 表名
     * @param rowKey rowKey
     * @return map
     */
    public Map<String, String> getData(String tableName, String rowKey) {
        HashMap<String, String> map = new HashMap<>();
        Connection conn = null;
        try {
            conn = pool.getConnection();
            Table table = conn.getTable(TableName.valueOf(tableName));
            Get get = new Get(Bytes.toBytes(rowKey));
            Result result = table.get(get);
            if (result != null && !result.isEmpty()) {
                for (Cell cell : result.listCells()) {
                    String family = Bytes.toString(cell.getFamilyArray(), cell.getFamilyOffset(), cell.getFamilyLength());
                    String qualifier = Bytes.toString(cell.getQualifierArray(), cell.getQualifierOffset(), cell.getQualifierLength());
                    String data = Bytes.toString(cell.getValueArray(), cell.getValueOffset(), cell.getValueLength());
                    map.put(family + ":" + qualifier, data);
                }
            }
            table.close();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (null != conn){
                pool.releaseConnection(conn);
            }
        }
        return map;
    }

    /**
     * 获取数据（根据 rowKey 列族 列）
     * @param tableName 表名
     * @param rowKey rowKey
     * @param columnFamily 列族
     * @param columnQualifier 列
     * @return map
     */
    public String getData(String tableName, String rowKey, String columnFamily,
                          String columnQualifier) {
        String data = "";
        Connection conn = null;
        try {
            conn = pool.getConnection();
            Table table = conn.getTable(TableName.valueOf(tableName));
            Get get = new Get(Bytes.toBytes(rowKey));
            get.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(columnQualifier));
            Result result = table.get(get);
            if (result != null && !result.isEmpty()) {
                Cell cell = result.listCells().get(0);
                data = Bytes.toString(cell.getValueArray(), cell.getValueOffset(), cell.getValueLength());
            }
            table.close();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (null != conn){
                pool.releaseConnection(conn);
            }
        }
        return data;
    }

    /**
     * 删除数据
     */
    @GetMapping("/delete")
    public void delete(){
        log.info("---删除 rowKey --- row1 ");
        deleteData(tbl_user,"row1");
        log.info("---删除 rowKey 列族 --- row2 age ");
        deleteData(tbl_user,"row2","age");
    }

    /**
     * 删除数据（根据 rowKey）
     * @param tableName 表名
     * @param rowKey rowKey
     */
    public void deleteData(String tableName, String rowKey) {
        Connection conn = null;
        try {
            conn = pool.getConnection();
            Table table = conn.getTable(TableName.valueOf(tableName));
            Delete delete = new Delete(Bytes.toBytes(rowKey));
            table.delete(delete);
            table.close();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (null != conn){
                pool.releaseConnection(conn);
            }
        }
    }

    /**
     * 删除数据（根据 row key，列族）
     * @param tableName 表名
     * @param rowKey rowKey
     * @param columnFamily 列族
     */
    public void deleteData(String tableName, String rowKey, String columnFamily) {
        Connection conn = null;
        try {
            conn = pool.getConnection();
            Table table = conn.getTable(TableName.valueOf(tableName));
            Delete delete = new Delete(Bytes.toBytes(rowKey));
            delete.addFamily(columnFamily.getBytes());
            table.delete(delete);
            table.close();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (null != conn){
                pool.releaseConnection(conn);
            }
        }
    }

}

6.启动类

package org.example;


import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

/**
 * @author Administrator
 */
@SpringBootApplication
public class HbaseDemo {
    public static void main(String[] args) {
        SpringApplication.run(HbaseDemo.class,args);
    }
}

7.测试

创建表：http://127.0.0.1:8080/hbase/create
插入：http://127.0.0.1:8080/hbase/insert
查询：http://127.0.0.1:8080/hbase/query
删除：http://127.0.0.1:8080/hbase/delete
删除表：http://127.0.0.1:8080/hbase/drop

查看 UI

在这里插入图片描述

测试输出日志

在这里插入图片描述

猪悟道
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
第10章Hadoop与HBase分布式集群安装与配置.pdf
07-14
hadoop3.x分布式平台搭建、HBase分布式集群安装与配置
大数据实验Hbase安装部署和使用javaapi调用.pdf
11-02
大数据实验Hbase安装部署和使用javaapi调用，详细且成功率高，纯自己手写的，hadoop和hbase版本是采用林子雨老师教材中的，自己在此教程上改良，引入先安装zookeeper方法避免诸多问题产生。
【大数据】分布式数据库HBase下载安装教程
最新发布
Joker_ZJN的博客
05-09 1585
一文详解HBase下载安装教程。
HBase安装下载与集群(高可用)
weixin_43205308的博客
05-05 1689
2.4.4 使用 Hadoop 的 jar 包，解决 HBase 和 Hadoop 的 log4j 兼容性问题。记得要分发给其他节点，其他节点的JAVA_HOME可能也不同，需要注意。如果还是有，看是哪个节点报错，直接删除，再重新把hbase重新分发过去。记得source环境变量。虽然提示，但是不影响使用。source环境变量。
Hbase下载与安装部署（一）- 独立式
todd的博客
04-15 7129
HBase运行在Java虚拟机上，因此我们需要先在服务器上安装JDK 需要注意的是，HBase与JDK有可能存在版本兼容问题，所以在安装前需要选择兼容的版本 我这里选择的是JDK8和HBase2.4 JDK下载 官网 https://www.oracle.com/java/technologies/downloads/#java8 不想官网下载也可以在我的百度网盘下载 链接：https://pan.baidu.com/s/1dkfH443MNq5_EAN-T7vDCA 提取码：o8z6 解压JD
【Hbase】Windows下安装HBase（图文记录详细步骤、常见错误解答FAQ（Frequently Asked Questions））
tttzzzqqq2018的博客
07-29 5393
HBase（Hadoop Database），是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase(1.4.13)安装和使用
BrandoLv
12-05 3699
HBase 1.4.12 安装与使用 (单机模式) 安装 下载 安装 使用 常用命令 软件安装 下载 官网地址: http://hbase.apache.org/ 下载列表: http://hbase.apache.org/downloads.html 当前使用版本下载地址: http://mirror.bit.edu.cn/apache/hbase/hbase-1.4.12/hba...
hadoop+hbase+zookeeper集群配置流程及文件
08-28
提供的文档`hadoop_zookeeper_hbase集群配置.docx`应包含详细的步骤和配置示例，而`配置文件.rar`则可能包含了预设的配置模板，可以作为配置参考。在实际操作时，务必根据具体环境调整配置，确保所有节点之间的网络...
Docker hadoop zookeeper hbase 配置文件
03-13
本配置文件集专注于利用 Docker 搭建一个 HBase 集群，其中涉及到的关键知识点包括 Docker 的基本操作、Hadoop 的分布式文件系统（HDFS）、Zookeeper 的协调服务以及 HBase 的数据存储模型。 首先，了解 Docker 是...
windows安装配置jdk+hadoop+hbase.txt
12-10
windows安装配置jdk+hadoop+hbase
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
在构建大数据处理环境时，Hadoop、HBase、Spark和Hive是四个核心组件，它们协同工作以实现高效的数据存储、处理和分析。本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**：Hadoop是Apache...
HBase安装配置和管理
m0_69488210的博客
06-28 5073
1. 掌握HBase安装配置方法 2. 掌握HBase Shel命令使用方法 3. 掌握HBase Java API的基本用法
Hbase下载安装部署详细步骤
m0_68370888的博客
12-12 715
linux系统hbase的详细部署步骤
安装和配置HBase
m0_56066168的博客
06-20 6763
一、下载 阿里云镜像下载比较快。 https://mirrors.aliyun.com/apache/hbase/2.4.12/二、安装 1、解压 解压安装包hbase-2.4.12-bin.tar.gz至路径 /usr/local 2、把hbase目录权限赋予给hadoop用户 3、配置环境变量 将hbase下的bin目录添加到path中，这样，启动hbase就无需到/usr/local/hbase目录下，大大的方便了hbase的使用。教程下面的部分还是切换到了/usr/local/hbase目录操作，有
Linux安装HBase的详细过程
weixin_63522596的博客
03-27 936
Linux安装HBase的详细过程；HBase的下载链接以及解压缩；配置hbase环境变量 ；启动以及关闭HBase。
hbase 国内镜像 极速下载
JavaPub
08-28 1110
lucene国内镜像。
HBase 安装配置及下载地址
软件手的博客
02-05 3588
使用安装包版本： hbase-1.2.0-bin.tar.gz 下载地址 https://hbase.apache.org/downloads.html HBase 概述 HBase是Hadoop的生态系统，是建立在Hadoop文件系统（HDFS）之上的分布式、面向列的数据仓库，通过利用Hadoop的文件系统提供容错能力。如果你需要进行实时读写或者随机访问大规模的数据集的时候，请考虑使用HBase...
linux安装Hadoop、hbase
qq_57810709的博客
10-17 4875
首先按打开终端窗口，输入如下命令创建新用户接着使用如下命令设置密码，可简单设置为hadoop可为hadoop。
HBase学习总结(1)：HBase的下载与安装
周兆熊的专栏
06-26 4763
(HBase是一种数据库：Hadoop数据库，它是一种NoSQL存储系统，专门设计用来快速随机读写大规模数据。本文介绍HBase的下载与安装的整个过程。) 一、HBase的下载 1.登录HBase官网http://hbase.apache.org/，可看到如图1所示的页面： 图1 登录HBase官网的页面2.点击图1中的红色小框中的“here”，进入如图2所示的页面。 图2 下载链接
linux中安装hadoop与hbase
03-11
可以通过以下步骤在Linux上安装Hadoop和HBase： 1. 下载Hadoop和HBase的压缩包并解压缩。 2. 配置Hadoop和HBase的环境变量。 3. 配置Hadoop和HBase的配置文件，包括core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和hbase-site.xml。 4. 启动Hadoop和HBase的服务。 希望这个回答能够帮助你。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猪悟道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值