Hadoop专栏（二）———分布式数据块HBase

最新推荐文章于 2023-04-17 10:47:14 发布
最新推荐文章于 2023-04-17 10:47:14 发布
阅读量105 收藏
点赞数
分类专栏： 大数据 文章标签： hbase 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41311528/article/details/109587753
版权

一、HBase简介

说起Hbase，就必须说到BigTable,BigTable是当初谷歌为了处理网页设计的一种处理手段
在这里插入图片描述
网页搜索主要内容包括建立网页的索引和搜索互联网网页
在这里插入图片描述
BigTable的诞生

在这里插入图片描述
底层分布式文件系统存储完全非结构化的数据
HBase则允许几千台服务器去存储海量文件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

HBase和BigTable的底层技术对应关系
在这里插入图片描述
主从复制
分库来实现数据块性能提升
在这里插入图片描述
为什么还要去设计HBase这么一个数据块产品呢
虽然已经有了HDFS和MapReduce,但是Hadoop主要解决大规模数据离线批处理Hadoop是没有办法满足大数据实时处理需求的随着这些年数据的大规模爆炸式增长，传统关系型数据库的扩展能力非常有限
这样操作有两个缺陷，一个是不便利，另一个是效率非常低

Hbase和传统的关系数据库有什么练习和区别？
数据类型方面：传统的关系型数据库用的是非常经典的关系型数据库模型
数据操作方面：在关系数据库当中定了非常多的数据操作
存储模式方面：关系数据库是基于行模式存储，而对于HBase来讲是基于列存储
在数据索引方面：关系数据库可以直接针对各个不同的列，构建非常复杂的索引
在这里插入图片描述

数据维护方面：在关系数据库当中做一些数据更新操作的时候，实际上里面旧的值会被新的值覆盖掉
可伸缩性方面：关系数据库是很难实现水平扩展的，最多可以实现纵向扩展
在这里插入图片描述
在这里插入图片描述

访问HBse的几种方式
在这里插入图片描述

二、Hbase数据模型

三、Hbase的实现原理

四、Hbase运行机制

五、Hbase编程实践

斯特凡今天也很帅
关注
专栏目录
Hadoop应用实战100讲（二）-Hadoop常用命令汇总
wenyusuran的专栏
08-18 1014
前言 以下是我为大家准备的几个精品专栏，喜欢的小伙伴可自行订阅，你的支持就是我不断更新的动力哟！ MATLAB-30天带你从入门到精通 MATLAB深入理解高级教程（附源码） tableau可视化数据分析高级教程 一.HDFS命令行 Hadoop help命令的使用 1.hadoop -help查询所有Hadoop Shell支持的命令 2.distcp 这是Hadoop下的一个分布式复制程序，可以在不t同的HDFS集群间复制数据，也可以在本地文件间复制数据。 hadoop.
Hadoop应用实战100讲（一）-Hadoop进行文件压缩
wenyusuran的专栏
08-17 1081
前言 在集群中大规模的数据的转换与传输是一项艰巨的任务，而Hadoop自带一套特有的文件I/O系统，使得这项艰巨的任务变得简单。 以下是我为大家准备的几个精品专栏，喜欢的小伙伴可自行订阅，你的支持就是我不断更新的动力哟！ MATLAB-30天带你从入门到精通 MATLAB深入理解高级教程（附源码） tableau可视化数据分析高级教程 1.压缩 Hadoop文件数据存取与计算需要集群中众多的节点，通过网络连接方式进行相互协作完成作业，节点间的数据采用压缩形式进行传输，这样可以减少存储文件所需的
HBase进阶学习
M_Ene的学习日志
06-09 247
RegionServer架构 1）StoreFile 保存实际数据的物理文件，Store以Hfile的形式存储在HDFS上。每个Store都会有一个或者多个StoreFile（HFile），数据在每个StoreFile中都是有序的。 2）MemStore 写缓存，由于HFile中的数据要求室友虚的，所以数据是先存储在MemStore中，拍好序之后，等到达刷写时机才会刷写到Hfile，每次刷写都会形成一个新的HFile。 3）WAL 由于数据要经过MemStore排序之后才能刷写到HFile，但是把数据保存
HBase数据块编码压缩机制调优及客户端API 新版本最佳实践-OLAP商业环境实战
weixin_34345560的博客
01-10 448
版权声明：本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。QQ邮箱地址：1120746959@qq.com，如有任何技术交流，可随时联系。 网上的Hbase调优资料参差不齐，实在是不忍卒读，有些都是拼凑且版本过时的东西，我这里决定综合所有优质资源进行整合，写一份最全，最有深度，不过时的...
Hbase08：HBase高级用法：生存时间(TTL)、版本数、压缩、数据块、数据块缓存、布隆过滤器、Scan、Scan的Java API用法、常见的Filter
weixin_40612128的博客
03-07 1358
一、列族高级设置 1、生存时间(TTL) 应用系统经常需要从数据库里删除老数据，配置此项，可使数据增加生命周期，超过该配置时间的数据，将会在大合并时“被删除”。（单位：秒） create 't3', {NAME => 'cf1', TTL => '18000'} desc 't3' 2、版本数 在0.96的版本之前默认每个列族是3个version， 0.96之后每个列族是1个version，在大合并时，会遗弃过期的版本。 create 't4', {NAME => 'cf1', VE
hbase和hadoop数据块损坏处理
11-05
介绍hbase和hadoop数据块损坏如何处理
大数据 の HBase 进阶
qq_24365213的博客
11-25 1189
第五章：大数据 の HBase 进阶 本课主题 HBase 读写数据的流程HBase 性能优化和最住实践HBase 管理和集群操作HBase 备份和复制   引言  前一篇 HBase 基础 (HBase 基础) 简单介绍了NoSQL是什么和重点讨论 HBase 数据库的特点，在这一篇会进一步介绍 HBase 的其他特性和机制，
【hadoop期末复习】第四章 分布式数据库HBase 超详细讲解
onion23的博客
06-30 1万+
** 本专栏的Hadoop复习计划文章内容主要包含以下几个部分： 【简单】学习通习题 【进阶】课本课后练习 【操作】相关章节实验回顾 ** 使用教材：大数据技术原理与应用（第3版）林子雨 编著 ** 教材课后答案点这里 让我们开始吧！ 学习通 - 习题 1. HBase是什么类型的数据库 A.关系数据库 B.文档数据库 C.行式数据库 D.列式数据库 我的答案：D 解析： 2. 下列对HBase数据模型的描述错误的是 A.HBase列族支持动态扩展，可以很轻松地添加一个列族或列 .
【服务器】（五）阿里云ECS上搭建Hadoop集群环境——设置(分布式)Mysql、Hive、Sqoop与Hue安装
系'辞的博客
03-30 661
说明： 在本分布式中，slave1、slave2主要作为数据存储。而，hive是用于检索的工具，故仅在Master服务器端安装hive与mysql。 安装mysql cd /home/test/install/ #ubantu系统对应指令 sudo apt-get install mysql-server-5.7 #安装MySQL的客户端和服务端 sudo apt install libmysqlclient-dev #安装MySQL需要的依赖 ps -e | grep mysql #查看
【hadoop期末复习】第二章 大数据处理架构Hadoop
onion23的博客
06-28 4508
** 本专栏的Hadoop复习计划文章内容主要包含以下几个部分： 【简单】学习通习题 【进阶】课本课后练习 【操作】相关章节实验回顾 ** 使用教材：大数据技术原理与应用（第3版）林子雨 编著 ** 教材课后答案点这里 让我们开始吧！ 学习通 - 习题 1. 以下哪个不是大数据时代的新兴技术 Mysql 2. 启动hadoop所有进程的命令是 start-all.sh 解析： 也可以分两步启动： start-yarn.sh start-dfs.sh 3. 以下对hadoo.
大数据——HDFS(分布式文件系统）
最新发布
qq_46300524的博客
04-17 6506
我的理解就是 ，你上传到服务器的数据，为了保证数据的安全性，如果一个服务器出现了问题 ，那么必须保证你的数据不能丢失，那么在其他服务器上也会备份一份出问题服务器的数据，以保证数据不丢失，就是一个存有你数据的服务器坏掉了，也不会影响你的数据。以上仅仅是我的理解，仅供参考。
HBase数据存储格式
吃果冻不吐果冻皮
07-04 8298
好的数据结构，对于检索数据，插入数据的效率就会非常高。常见的数据结构B+树根节点和枝节点很简单，分别记录每个叶子节点的最小值，并用一个指针指向叶子节点。 叶子节点里每个键值都指向真正的数据块，每个叶子节点都有前指针和后指针，这是为了做范围查询时，叶子节点间可以直接跳转，从而避免再去回溯至枝和根节点。 特点： 1、有n棵子树的结点中含有n个关键字，每个关键字不保存数据，只用来索引，所有数据都保存
HBase详细概述
热门推荐
陌上花开
06-12 15万+
本文首先简单介绍了HBase,然后重点讲述了HBase的高并发和实时处理数据 、HBase数据模型、HBase物理存储、HBase系统架构、HBase三维有序存储、HBase调优、HBase Shell访问，HLog、HFile等。
浅谈HBase的数据分布
weixin_34206899的博客
07-29 345
福利：国际顶级盛会HBaseCon Asia 2018将于8月在北京举行，目前正免费开放申请中，更多详情参考https://yq.aliyun.com/promotion/631 如果你对大数据存储、分布式数据库、HBase等感兴趣，欢迎加入我们，一起做最好的大数据在线存储，职位参考及联系方式：https://maimai.cn/job?webjid=1...
Hbase数据结构与算法
weixin_38813363的博客
04-26 331
Hbase数据结构与算法 Hbase的一个列族本质上是一棵LSM树（Log Structured Merge Tree）。LSM树分为内存和磁盘部分。内存部分是一个维护有序数据集合的数据结构。hbase选择了跳表。磁盘部分是由一个个独立文件组成，每一个文件都是一个数据块。对于数据存储在磁盘上的系统来说，磁盘寻道以及数据读取都是非常耗时的操作。因此，为了避免不必要的IO耗时。因此在次盘中存储一些额外的二进制数据，这些数据用来判断制定的key是否有可能存储在这个数据块中，这个数据结构称为布隆过滤器 跳表 跳表插
Hbase写数据，存数据，读数据的详细过程
chbxw
04-04 6686
HBase架构Region  HRegion是HBase中分布式存储和负载均衡的最小单元。最小单元就表 示不同的HRegion可以分布在不同的HRegion server上。   HRegion由一个或者多个Store组成，每个store保存一个columns familyHFileStoreFile 以HFile格式保存在HDFS一、写操作 Client写入 -> 存入MemStore， 一直
hbase region拆分的三种方式
bigdata_player
04-15 5044
我们都知道，region在数据量大到一定程度的时候，会进行拆分（最开始由一个变成二个），而拆分的方式有三种，包括预拆分、自动拆分、手动强制拆分。下面就来介绍介绍拆分的方式。 预拆分 预拆分（pre-splitting）就是在建表的时候就定义好了拆分点的 算法，所以叫预拆分。 预拆分一部分的作用能减少rowkey热点，另外一部分能减轻region切分时...
Hbase数据模型与存储结构
星空的风fly
09-02 1万+
一、Hbase简介 Hbase是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。依托Hadoop-HDFS作为其文件存储系统，利用MapReduce来处理海量数据，用Zookeeper作为其分布式协同服务，主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库）。 二、 Hbase数据模型 1、存储模型分布 下边表示了一行，三列的数据，CF1、CF2、CF3是三个...
Hbase列属性详解
旧时明月
08-16 4651
DESCRIPTION                                                                    ENABLED                                     'ns1:season', {NAME => 'autumn', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILT
Hadoop家族深度解析：HBase——分布式列式数据库
Hadoop家族是一个广泛应用于大数据处理的开源生态系统，包括多个组件如Pig、Zookeeper、HBase、Hive、Sqoop、Avro、Chukwa和Cassandra。其中，第9讲重点关注分布式开源数据库HBase。 Pig是Hadoop的一个客户端，它...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值