hbase
关注
分享
扫一扫
文章平均质量分 80
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于B
赵广陆
CSDN认证博客专家、CSDN的Java领域优质创作者、全网30w+粉丝、超300w访问量、专注于大学生项目实战开发、讲解和答疑辅导、以及产品测评宣传、工具推广等合作。同时招收学生代理、校园代理，对于专业性数据证明一切！
展开
-
HBase ImportTSV工具使用
目录1 ImportTSV功能描述2 直接导入Put方式3 转换为HFile文件，再加载至表1 ImportTSV功能描述将tsv（也可以是csv，每行数据中各个字段使用分隔符分割）格式文本数据，加载到HBase表中。1）、采用Put方式加载导入2）、采用BulkLoad方式批量加载导入使用如下命令，查看HBase官方自带工具类使用说明：HADOOP_HOME=/export/servers/hadoopHBASE_HOME=/export/servers/hbaseHADOOP_CLAS原创 2021-12-15 20:45:00 · 2649 阅读 · 0 评论 -
Hbase JavaAPI使用
目录1 需求与数据集2 准备工作2.1 创建IDEA Maven项目2.2 导入pom依赖2.3 复制HBase和Hadoop配置文件2.4 创建包结构和类2.5 创建Hbase连接以及admin管理对象3 需求一：使用Java代码创建表4 需求三：使用Java代码删除表5 需求二：往表中插入一条数据5.1 创建包5.2 初始化Hbase连接5.3 插入姓名列数据5.4 查看HBase中的数据5.5 插入其他列6 需求三：查看一条数据7 需求四：删除一条数据8 需求五：导入数据8.1 需求8.2 Impor原创 2021-12-13 21:15:00 · 874 阅读 · 0 评论 -
Hbase shell管理操作
目录1 status2 whoami3 list4 count5 describe6 exists7 is_enabled、is_disabled8 alter9 disable/enable10 drop11 truncate1 status例如：显示服务器状态2.4.1 :062 > status1 active master, 0 backup masters, 3 servers, 0 dead, 1.0000 average loadTook 0.0034 seconds2原创 2021-12-13 21:00:00 · 209 阅读 · 0 评论 -
HBase高级操作
目录1 需求2 执行command文件2.1 上传command文件2.2 执行3 计数操作3.1 需求3.2 count命令3.3 获取订单数据4 大量数据的计数统计4.1 启动YARN集群4.2 执行MR JOB5 扫描操作5.1 需求一：查询订单所有数据5.1.1 需求5.1.2 scan命令5.1.3 扫描ORDER_INFO表5.2 需求二：查询订单数据（只显示3条）5.3 需求三：查询订单状态、支付方式5.3.1 需求5.3.2 命令5.4 需求四：查询指定订单ID的数据并以中文展示6 过滤器6原创 2021-12-13 20:45:00 · 1463 阅读 · 0 评论 -
Hbase常用shell操作
目录1 需求2 创建表2.1 启动HBase Shell2.2 创建表2.3 查看表2.4 删除表2.4.1 禁用表2.4.2 删除表2.4.3 删除ORDER_INFO表3 添加数据3.1 需求3.2 PUT操作4 查看添加的数据4.1 需求4.2 get命令4.3 查询指定订单ID的数据4.4 显示中文4.4.1 查看订单的数据5 更新操作5.1 需求5.2 使用put来更新数据5.3 更新指定的列6 删除操作6.1 删除状态列数据6.1.1 需求6.1.2 delete命令6.1.3 删除指定的列6.原创 2021-12-13 20:30:00 · 2803 阅读 · 0 评论 -
HBase启动时有进程webUI不显示HRegionServer各种情况解决方案
1 Hmaster主机观察是否有闪退java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operation during component failures, but the underlying filesystem does not support doing so. Please check the config value of 'hbase.procedure.原创 2021-11-02 21:00:00 · 2555 阅读 · 0 评论 -
Hbase集群搭建
目录1 启动条件2 安装3 配置4 启动并验证HBase5 HBase的基本应用1 启动条件HBase也需要安装在成功部署了Hadoop的平台上，并且要求Hadoop已经正常启动。同时，HBase需要作为集群来部署，因此，我们将在Master和Slave上安装HBase。下面的所有操作均使用csu用户，请先进行用户的切换。2 安装读者可以从“http://hbase.apache.org”下载最新版本的HBase，也可以直接在本书第6章软件资源中找到HBase安装包文件hbase-1.2.4-bi原创 2021-11-01 23:15:00 · 721 阅读 · 0 评论 -
Hbase+ES和MongoDB存储大数据的选用
目录1 需求2 架构设计3 HBase和MongoDB的区别1 需求解决海量数据的存储，并且能够实现海量数据的秒级查询Hbase是典型的nosql，是一种构建在HDFS之上的分布式、面向列的存储系统，在需要的时候可以进行实时的大规模数据集的读写操作；但是hbase的语法非常固话，即便在hbase之上嫁接了phoneix在应对复杂查询的时候，仍然力不从心；所以说很多公司在历史遗留问题，最开始数据存储在hbase上，当业务越来越复杂，数据量越来越大的时候，使用hbase构建复杂的查询就很吃力了，甚至很原创 2021-03-16 23:20:00 · 4754 阅读 · 0 评论 -
大数据HBase入门
目录1 HBase 简介1.1 HBase 定义1.2 HBase 数据模型1.2.1 HBase 逻辑结构1.2.2 HBase 物理存储结构1.2.3 数据模型1.2.4 较容易的理解方式1.2.5 概念模型1.3 HBase 基本架构1.3 HBase 基本架构1 HBase 简介1.1 HBase 定义Google的三大马车 Google fs + Map Reduce + Big Table开源Java实现 HDFS Hadoop HbaseHBase 是一种分布式、可扩展、支持海原创 2021-03-12 11:59:07 · 460 阅读 · 4 评论 -
大数据HBase调优
目录1 高可用2 预分区3 RowKey 设计4 内存优化5 基础优化1 高可用在 HBase 中 HMaster 负责监控 HRegionServer 的生命周期，均衡 RegionServer 的负载，如果 HMaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以 HBase 支持对 HMaster 的高可用配置。1．关闭 HBase 集群（如果没有开启则跳过此步）[atguigu@hadoop102 hbase]$ bin/stop-hb原创 2021-03-13 23:12:13 · 305 阅读 · 0 评论 -
大数据HBase JavaAPI工具类
目录1 环境准备2 HBaseAPI2.1 获取 Configuration 对象2.2 判断表是否存在2.3 创建表2.4 删除表2.5 向表中插入数据2.6 删除多行数据2.7 获取所有数据2.8 获取某一行数据2.9 获取某一行指定“列族:列”的数据3 MapReduce3.1 官方 HBase-MapReduce3.2 自定义 HBase-MapReduce14 与 Hive 的集成4.1 HBase 与 Hive 的对比4.2 HBase 与 Hive 集成使用41 环境准备新建项目后在 p原创 2021-03-13 23:04:01 · 547 阅读 · 0 评论 -
大数据HBase体系结构
目录1 架构原理2 写流程3 MemStore Flush4 读流程5 StoreFile Compaction6 Region Split1 架构原理1）StoreFile保存实际数据的物理文件，StoreFile 以 HFile 的形式存储在 HDFS 上。每个 Store 会有一个或多个 StoreFile（HFile），数据在每个 StoreFile 中都是有序的。2）MemStore写缓存，由于 HFile 中的数据要求是有序的，所以数据是先存储在 MemStore 中，排好序后原创 2021-03-13 22:52:26 · 341 阅读 · 0 评论