HBase
文章平均质量分 78
hbase
five小点心
阳光开朗孔乙己
展开
-
HBase高阶(一)基础架构及存储原理
HBase是Hadoop生态系统中的一个分布式、面向列的开源数据库,具有高可伸缩性、高性能和强大的数据处理能力。广泛应用于处理大规模数据集。HBase是一种稀疏的分布式持久的多维排序map稀疏:对比关系型数据库和非关系型数据库,关系型数据库是以表格的形式进行存储,对存储的要求较高,每一行每一列都需要预留对应的存储空间,这就会造成存储空间的浪费。分布式:海量数据保存在多台机器上。持久化:将内存中的对象存储在数据库中,或者存储在磁盘文件中。多维:noSQL数据库的本质是KV结构。原创 2023-09-25 18:52:28 · 2287 阅读 · 0 评论 -
HBase客户端的批量写缓存BufferedMutator
BufferedMutator是什么?又应该如何实现呢?原创 2023-08-28 09:41:58 · 1770 阅读 · 0 评论 -
HBase有写入数据,页面端显示无数据量
写了一个测试类,插入几条数据,测试HBase的数据量。很简单的功能,这就出现问题了。网页端可以看到,能够看到读写请求,但是不管是内存、还是磁盘,都没有数据。在HDFS(Hadoop分布式文件系统)中,有一个重要的参数控制着内存达到多大时开始将数据写入磁盘,该参数为。我又多追加了几条,等待了一会儿现在的数据量到了6k条。默认为 64M,将其改为2M,再追加几条try一try呢?为什么缓存中存在数据,shell 中也能查询到,为什么没有落到内存中呢?于是就想到去HDFS查看,也是有数据存在的。原创 2023-07-27 00:52:56 · 996 阅读 · 0 评论 -
大数据技术之HBase(四)RowKey设计原则及方法
检索HBase的记录首先需要通过RowKey来定位数据行。当大量的client访问hbase集群的一个或少数几个节点,造成少数regionServer的读/写请求过大,或负载过大,而其他的regionServer负载却很小。这就是 “热点” 现象。原创 2023-05-08 15:23:48 · 1382 阅读 · 0 评论 -
日志收集系统:将应用产生的数据通过flume收集后发送到Kafka,整理后保存至hbase
日志收集系统:将应用产生的数据通过flume收集后发送到Kafka,整理后保存至hbase原创 2023-05-04 18:11:00 · 928 阅读 · 0 评论 -
大数据技术之HBase(二)HBase原理简介
HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库非结构化数据存储的数据库,基于列的模式存储。利用Hadoop HDFS作为其文件存储系统,写入性能很强,读取性能较差。利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。关系型数据库存储数据是以表格的形式存储,非关系型数据库是以进行存储。通过进行存储,当在用key读取value的时候,效率更高,速度更快,使用起来更灵活。划重点:HBase。原创 2023-03-07 17:58:20 · 2878 阅读 · 0 评论 -
大数据技术之HBase(三)HBase API的使用
将hbase中的jar包导入到hive中。二、修改Hive配置文件。原创 2023-03-08 16:42:38 · 566 阅读 · 0 评论 -
大数据技术之HBase(一)HBase安装部署
在网页端进入16010 端口。原创 2023-03-06 15:20:25 · 167 阅读 · 0 评论