大数据运维存档（9）HBase常识整理

最新推荐文章于 2022-12-16 11:00:00 发布
最新推荐文章于 2022-12-16 11:00:00 发布
阅读量292 收藏
点赞数
分类专栏： 大数据运维系列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36269641/article/details/111788294
版权
大数据运维系列 专栏收录该内容
15 篇文章 10 订阅 ¥59.90 ¥99.00
订阅专栏
本文详细介绍了HBase的基础知识，包括HBase的概念、特点，集群的安装部署步骤，以及数据模型的构成（rowkey、column family、column、cell和timestamp）。此外，还涵盖了HBase的读写流程、数据存储原理、flush和compact机制。文章深入浅出地阐述了HBase的shell命令行操作，包括创建、查询、更新和删除数据，并讨论了HBase与Hive的集成。最后，文章提到了HBase的协处理器、表的rowkey设计、热点问题解决策略以及数据备份方法，为HBase的管理和优化提供了全面的指导。
摘要由CSDN通过智能技术生成

一、hbase是什么

1.1、hbase的概念

  • HBase基于Google的BigTable论文，是建立的HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。
  • 在需要实时读写随机访问超大规模数据集时，可以使用HBase。

1.2、hbase的特点

  • 海量存储
    • 可以存储大批量的数据
  • 列式存储
    • HBase表的数据是基于列族进行存储的，列族是在列的方向上的划分。
  • 极易扩展
    • 底层依赖HDFS，当磁盘空间不足的时候，只需要动态增加datanode节点就可以了
    • 可以通过增加服务器来对集群的存储进行扩容
  • 高并发
    • 支持高并发的读写请求
了解本专栏 订阅专栏 解锁全文
pub.ryan
关注
专栏目录
订阅专栏
大数据运维存档（1）HDFS常识整理
Big_data_implicit_
12-26 229
hdfs的设计理念 可移植性 流式数据访问（高吞吐量而不是低延时） 分布式存储解决大规模数据存储 硬件故障是常态而不是异常 最高效的数据访问模式：一次写入，多次读取（数据的简单一致性） 一、数据块（block） HDFS原理白话讲就是将大文件分为若干个块，将这些块散落在不同的服务器上进行存储。 1.1 数据块大小如何设置 在hdfs配置文件hdfs-site.xml中，通过dfs.blocksize参数配置 1.2 为什么hdfs的数据块这么大 hadoop 1.x默认块大.
大数据运维存档（7）ZooKeeper常识整理
Big_data_implicit_
12-27 220
一、什么是zookeeper 是Google的Chubby的一个开源实现版 ZooKeeper 一个分布式的，开源的，用于分布式应用程序的协调服务（service） 主从架构 Zookeeper 作为一个分布式的服务框架 主要用来解决分布式集群中应用系统的一致性问题 它能提供基于类似于文件系统的目录节点树方式的数据存储， Zookeeper 作用主要是用来维护和监控存储的数据的状态变化，通过监控这些数据状态的变化，从而达到基于数据的集群管理 二、zookeeper初体验
【实时数仓】在Hbase建立维度表、保存维度数据到Hbase、保存业务数据到kafka主题
最新发布
weixin_43923463的博客
12-16 1432
如果读取到的配置信息是维度数据，提前在hbase中通过Phoenix创建维度表。定义一个项目中常用的配置常量类GmallConfig。 （2）引入依赖 （3）hbase-site.xml 因为要用单独的schema,所以在Idea程序中加入hbase-site.xml。 注意：为了开启hbase的namespace和phoenix的schema的映射，在程序中需要加这个配置文件，另外在linux服务上，也需要在hbase以及phoenix的hbase-site.xml配置文件中，加上以上后两个配置，并使用
Hbase Coprocesser
Live each day as if it was your last
11-14 189
网上教程多是针对旧版本的，并且大部分都是基于这篇： https://blogs.apache.org/hbase/entry/coprocessor_introduction 里面的类例如BaseRowProcessorEndpoint，CoprocessorProtocol之类在0.96之后被移除。 http://search-hadoop.com/jd/hbase/hbase-ser...
HBase协处理器及二级索引
fengge18306的博客
04-05 390
1. HBase协处理器 官网文档 起源： Hbase 作为列族数据库的缺点： 无法轻易建立“二级索引” 难以执行求和、计数、排序等操作。 虽然 HBase 在数据存储层中集成了 MapReduce，能够有效用于数据表的分布式计算。然而在很多情况下，做一些简单的相加或者聚合计算的时候， 如果直接将计算过程放置在 server端，能够减少通讯开销，从而获得很好的性能提升。 ...
实际动手编写HBase Coprocessor
功夫熊猫
10-29 433
1.背景 在client端访问HBase的时候，经常会遇到多次串型查询（即client端应用程序每次从HBase中查询的结果中的一些数据作为下一步查询条件），这种场景往往导致不必要的网络消耗。我们可以利用HBase提供的Coprocessor机制来减少这种不必要的网络开销，从而达到性能上的优化。 2.寻找HBase依赖的protobuf版本 在实际生产环境往往已经安装了某个版本的HBase，...
HBase中的时间维度
weixin_30791095的博客
05-09 116
HBase是一个类Bigtable系统，按照Google的论文对 Bigtable的定义是“一种稀疏的，分布式的，持久的多为维度的有序Map。这个Map由row key，column key和timestamp做为索引，Map中的值是连续的byte数组”。HBase的多维度，包括table和column family等。 不是所有维度都是等同的，不同的维度有其特殊的意义。例如，row这个维度用于...
大数据运维存档（5）HBase&Kafka调优与排障
Big_data_implicit_
12-26 297
一、HBase篇 1、巡检 HBase 是使用 HDFS 作为底层存储的 NoSQL 数据库，提供了满足实时性和随即读写功能的数据库服务。 每日早晚巡检 HBase 服务，检查各集群的 HMaster 和 RegionServer 状态，是否事务积压等问题。 1.1、查看CM HBase 的整体状态 1.HBase 的状态，目前看没有严重警告 2.查看集群读写请求量 3.查看总 Region 数，有 4 万+的 Region 平均每个 RegionServer 有 100
大数据运维存档（8）数仓构建与Hive实现常识整理、生产中调优
Big_data_implicit_
12-27 4731
目录 一、数仓基础 1、数仓基本介绍 1.1、数仓基本概念 1.2、数仓的定义 1.2.1、面向主题 1.2.2、集成性 1.2.3、稳定性 1.2.4、时变性 1.3、数据仓库与数据库的区别 1.4、构建数仓常用手段 1.5、数仓分层 1.5.1、数仓分层描述 1.5.2、为什么要进行数仓分层 1.6、获取数据 1.7、同步策略 2、数据仓库建模 2.1、范式建模法（Third Normal Form 3NF） 2.2、维度建模法 2.2.1、维度表 2.2.2、事
hbase 知识点（1） hbase涉及维度
chenfenggang的专栏
07-22 1326
每次跟新数据都会先提交WAL，然后写入内存，当达到一定数量写入磁盘，这个可以查看我的博客（habse 源码分析） 移除内存后 ，清空不需要的WAL，memestore 是滚动的，在flush过程会启动新的一个memstore，这样不影响写过程，因为memstore 是排序的所以flush过程不需要 排序。读过程不会写WAL，因为对数据没有变化。 数据删除只是标记删除（墓碑删除），flush过程会清楚删除的数据和TTL过期的的数据。
18_hbase四
TU_JCN的博客
11-16 352
大数据数据库之HBase 主题 协处理器 HBase表的rowkey设计 HBase表的热点 HBase表的数据备份 HBase二级索引 目标 掌握协处理器 掌握HBase表的rowkey设计 掌握HBase表的热点 掌握HBase表的数据备份 掌握HBase二级索引 1. HBase协处理器 http://hbase.apache.org/book.html#cp ...
hbase_数据备份（导入/导出）
子龙修仙的博客
05-20 1万+
1. Export/Import（导入导出）hdfs常用命令：http://www.cnblogs.com/gaopeng527/p/4314215.html1) 导出    通过Export导出数据到目标集群的hdfs，再在目标集群执行import导入数据，Export支持指定开始时间和结束时间，因此可以做增量备份，Export工具参数如下：可见，在导出时可以指定version，starttim...
Hbase表两种数据备份方法-导入和导出示例
热门推荐
helloxiaozhe的博客
05-15 2万+
Hbase表数据导入和导出示例场合：由于线上和测试环境是分离的，无法在测试环境访问线上库，所以需要将线上的hbase表导出一部分到测试环境中的hbase表，这就是本文的由来。本文借助hdfs作为中介将线上的hbase数据导出部分到测试hbase表中。闲话少叙，例子就来：1）、创建hbase表emplocalhost:bin a6$ pwd /Users/a6/Applications/hbase-...
Hbase数据存储结构
高矮
10-17 2198
  HRegion:Hbase中的表的基本存储单元 RegionServer：HBase提供数据服务的主要服务 Store:HRegion中存储数据的单元，一个Region中的不同Store存储不同的列簇 StoreFile:Store中的存储单元,存的是对应列簇的数据 MemStore:Store中的存储及预处理单元，数据写入hbase表时，数据首先写入MemStore(内存)，数据在Me...
使用hive+hbase做数据分析
boom的博客
06-18 5122
数据来源：中国软件杯—基于互联网大数据的招聘数据智能分析平台 使用工具：eclipse 环境搭建：hadoop，hive，mysql，hbase，tomcat 博客只做数据分析的流程与方法介绍，代码还在完善中，所以不做提供 闲话不多说，直接展示效果图 1.数据清洗 拿到数据集后发现数据并不是很规整，需要做一些处理，比如说去除制表符，去空或者是换行符等等，这里的处理方法比较简单，可以使用pyth...
HBase数据压缩方式的选择
人是有思想的芦苇
07-23 4910
HBase压缩数据压缩方式选择
HBase学习笔记（一）——HBase工作原理
u011047968的专栏
06-17 1510
类似 MySQL 或者 Oracle 关系型数据库，当用户表的数据达到几千万甚至几亿级别的时候，对单挑数据的检索将花费数秒甚至达到分钟级别。目前在海量数据下进行快速开发，并进行高效运行的需求越来越多，传统的关系型数据库似乎达到了瓶颈，怎么办？ 有的专家尝试将关系型数据库做成分布式数据库，把压力分摊到多个服务器上，但是，随之而来的问题则是很难保证原子性。原子性可是数据库最根本的 ACID 中的元素，如果没有了原子性，数据库就不可靠了。如果增加一些必要的操作，那么原子性是保证了，但是性能却大幅下降。专家们
Hbase恢复误删数据
摩西YF拉比
04-06 5620
1.hdfs的回收站机制     客户有时会误删一些数据，在生产环境下，误删数据会造成非常严重的后果。     在hdfs上有一个回收站的设置，可以将删除的数据存在目录”/user/$/.Trash/”中，设置回收站的参数如下： fs.trash.interval=0     以分钟为单位的垃圾回收时间，垃圾站中数据超过此时间，会被删除。如果是0，垃圾回收机
HBase数据存储
weixin_33750452的博客
08-01 337
HRegionServer  HBase的数据文件都存储在HDFS上，格式主要有两种: - HFile:HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制文件，实际上StoreFile就是对HFile做了轻量级的包装，即StoreFile底层就是HFile - HLog File:HBase中WAL(W...
Ambari大数据运维实践与进展
"大数据运维：谭志坚分享的Ambari集群管理与运维实践" 在大数据运维领域，谭志坚的工作涵盖了Apache Ambari的深入理解和应用。Apache Ambari是一个强大的工具，专为Apache Hadoop生态系统设计，包括HDFS、MapReduce...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

pub.ryan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值