HBase学习记录

最新推荐文章于 2024-05-28 10:55:52 发布
最新推荐文章于 2024-05-28 10:55:52 发布
阅读量484 收藏
点赞数
分类专栏： 数据库 文章标签： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/justljf/article/details/76473781
版权
本文详细介绍了HBase的学习过程，包括Hadoop生态中的HBase定位、HBase核心组件如HMaster、HRegionServer的角色，以及HRegion、Store、MemStore和HLog的工作原理。此外，还探讨了SimpleHBase这一Java与HBase交互的中间件，强调其在数据映射、操作封装和查询支持等方面的功能。
摘要由CSDN通过智能技术生成

最近对于HBase的学习，先是对于之前学习的Hadoop相关内容的复习，再是对于HBase相关架构，特性的学习，最后是根据需求，使用SimpleHBase进行的开发任务实践，大概完成了对于消费记录的HBase，MySQL双写存储。

hadoop生态圈：

  • Pig：一种操作hadoop的轻量级脚本语言，用来快速轻松的处理巨大的数据。
  • Hive：满足了数据仓库的需求，适用于离线的进行数据处理与分析工作。
  • HBase：作为面向列的数据库运行在HDFS之上，提供随即读写功能。
    这里写图片描述

ZooKeeper：分布式服务框架，提供了分布式环境下的数据一致性服务
HDFS：分布式文件系统，适合运行在通用硬件上的分布式文件系统
两者具体结合到HBase中，记录相关内容，介绍

最低0.47元/天 解锁文章
JavonLu
关注
专栏目录
Hbase使用问题记录
零点五度
02-03 546
1、java使用HTable创建客服端       最开始的想法是做一个HTable池，对同一张表创建多个HTable： config = new Configuration();   config.set("hbase.zookeeper.quorum", "127.0.0.1"));     config.set("hbase.zookeeper.proper
Hadoop、HBase集群问题记录
Haidi_Elisa的专栏
06-16 1300
搭建 ssh无密码设置 配置后，仍需要输入密码访问 异常 按照ssh无密码配置后，仍然需要通过密码才能访问。 分析 可能是ssh相关目录和文件权限未设置。 解决方法 1、将.ssh目录权限修改为700（不可以更高，否则会不安全）； 2、将authorized文件权限修改为600。 启动、关闭异常 Warning: $HADOOP_HOME is deprecated. 异常
hbase空间爆满，新增DataNode、RegionServer，实现数据平衡 记录。
weixin_38384351的博客
03-20 1877
hbase新增DataNode、RegionServer节点操作记录 由于客户现场服务器问题，新增DataNode、RegionSercer是在master所在服务器上安装 一：安装DataNode （1）：安装组件 yum install avro-libs yum install bigtop-utils yum install parquet-format --nodeps y...
大数据基础知识-Hadoop、HBase、Hive一篇搞定
最新发布
qq_41680016的博客
05-28 4497
相应的，数据库由于规模较小，因此可以支持的数据规模较小，一般单张表中能存储百万条数据(最新版的MySQL经过优化，单表中可以存储千万条或者上亿条数据，即使是一亿条数据，也就10GB大小，且此时效率会非常低)。HBase数据存储依靠HDFS，HDFS存储数据具有一次写入，多次读取的特点，其不支持对数据进行修改，但是HBase存储数据为KV型，通过对相同的K再次写入，根据TimeStamp不可逆的特点，每次写入的数据的时间戳都比上一个数据的时间戳大，从而完成版本号的维护和数据的更新。
HBase的原理及运行机制
大数据
05-27 2201
一、Hbase体系结构 1.HBase客户端 HBase客户端（Client）提供了Shell命令行接口、原生Java API编程接口、Thrift/REST API编程接口以及MapReduce编程接口。HBase客户端支持所有常见的DML操作以及DDL操作，即数据的增删改查和表的日常维护等。其中Thrift/REST API主要用于支持非Java的上层业务需求，MapReduce接口主要用于批量数据导入以及批量数据读取。 HBase客户端访问数据行之前，首先需...
Hbase学习笔记
01-14
Hbase为Hadoop生态的存储引擎，为大数据系统提供了在线存储能力，为海量数据存储提供了很好的支撑。hbase系统架构也非常值得学习和借鉴，值得学习研究。
HBase学习笔记(个人整理)
07-26
同时，掌握HBase的安装、配置和基本操作，如创建表、插入数据、查询数据等，是学习HBase的基础。 【HBase与其他技术的集成】 HBase可以与Apache Spark集成，用于实时数据处理和分析。Phoenix是SQL查询引擎，允许...
Hadoop之HBase学习笔记
04-23
【标题】"Hadoop之HBase学习笔记"主要聚焦于Hadoop生态中的分布式数据库HBase。HBase是一个基于Google Bigtable理念设计的开源NoSQL数据库，它运行在Hadoop之上，提供高性能、高可靠性以及可水平扩展的数据存储能力...
HBase的基本架构及其原理介绍
weixin_30363817的博客
01-21 114
1、概述：最近，有一些工程师问我有关HBase的基本架构的问题，其实这个问题仅仅说架构是非常简单，但是需要理解。在这里，我觉得可以用HDFS的架构作为借鉴。（其实像Hadoop生态系统中的大部分组建的架构原理是类似，不信你往下看） 2、介绍架构 （1）HDFS例子 在这里我以我比较熟悉的HDFS分布式文件系统作为一个例子来简单说明一下。首先我对HDFS的架构做一个简单的...
集群间动态扩展和删除hdfs的datanode和hbase的regionserver
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
12-21 2897
如果你既要增加节点，又要删除节点呢， 我推荐的顺序是：新增datanode，新增regionserver，停掉regionserver ，停掉datanode。 如果你单独的增加或者移出呢，顺序就是上面拆开的就行啦。 如果你新增机器呢，新增datanode，新增regionserver。 如果你减少机器呢，停掉regionserver ，停掉datanode。 所以演示的话呢，就来个全套，就是新增...
HRegionServer的详解
Star-Technology
06-08 9865
Point 1： HRegionServer一般和DataNode在同一台机器上运行，实现数据的本地性。Point 2： HRegionServer包含多个HRegion，由WAL(HLog)、BlockCache、MemStore、HFile组成。1.WAL即Write Ahead Log，在早期版本中称为HLog，它是HDFS上的一个文件，如其名字所表示的，所有写操作都会先保证将数据写入这个
【Hadoop】RegionServer详解
_朝和
12-30 1万+
RegionServer是HBase中最主要的组件,本文对RegionServer中的组件和机制进行较为详细地讲解
hadoop与hbase笔记与总结
u013244517的专栏
07-27 2744
hadoop_hbase的安装教程 其中hadoop和hbase的配置文件有一点要说明 hadoop下的/etc/hadoop/core-site.xml fs.default.name hdfs://localhost:9000 与hbase下的conf/hbase-site.xml hbase.rootdir
hadoop hbase的datanode分离
iteye_20510的博客
05-07 219
本来搭建了一个mapreduce集群，使用了hbase。 但需要将mapreduce分成两个，一个专门跑优先级高的任务，另一个专门跑优先级低的任务。 但因为hbase的原因，hdfs却不能分成两个，考虑配置hdfs的slaves配置文件conf/slaves，修改为conf/slaves_hdfs。 待测试。   ...
Hbase总结（五）-hbase常识及habse适合什么场景
热门推荐
Java海洋
10-08 6万+
当我们对于数据结构字段不够确定或杂乱无章很难按一个概念去进行抽取的数据适合用使用什么数据库？答案是什么，如果我们使用的传统数据库，肯定留有多余的字段，10个不行，20个，但是这个严重影响了质量。并且如果面对大数据库，pt级别的数据，这种浪费更是严重的，那么我们该使用是什么数据库？hbase数个不错的选择，那么我们对于hbase还存在下列问题： 1.Column Family代表什么？
hbase性能优化，看这篇就够了
diaoxie5099的博客
08-26 697
HDFS（hdfs-site.xml）相关调整 dfs.datanode.synconclose = true dfs.datanode.synconclose set to false in hdfs-site.xml: data loss is possible on hard system reset or power loss mount ext4 wi...
大数据HBase学习笔记：从入门到深入理解
大数据HBase的学习笔记涵盖了HBase的基本概念、安装与配置、架构以及核心组件的功能详解。首先，HBase是基于Apache Hadoop的分布式NoSQL数据库，它主要利用HDFS存储数据，并通过Master和RegionServer来管理数据的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值