➹➹➹②HBase
文章平均质量分 95
爱是与世界平行
努力钻研学习中................
展开
-
HBase 知识手册
HBase 是 BigTable 的开源 Java 版本。是建立在 HDFS 之上,提供高可靠性、高性能、列存储、可伸缩、实时读写 NoSql 的数据库系统。它介于 NoSql 和 RDBMS 之间,仅能通过主键(row key)和主键的 range 来检索数据,仅支持单行事务(可通过 hive 支持来实现多表 join 等复杂操作)。主要用来存储结构化和半结构化的松散数据。Hbase 查询数据功能很简单,不支持 join 等复杂操作,不支持复杂的事务(行级的事务) Hbase 中支持的数据类型:byte[原创 2022-11-02 14:47:30 · 661 阅读 · 0 评论 -
HBase RowKey设计
检索habse的记录首先要通过row key来定位数据行。当大量的client访问hbase集群的一个或少数几个节点,造成少数region server的读/写请求过多、负载过大,而其他region server负载却很小,就造成了“热点”现象。原创 2022-10-26 10:31:37 · 1657 阅读 · 0 评论 -
大数据平台搭建及集群规划
例如,假设总共需要存储 800TB 的数据,HDFS 的块副本数为 3,如果每个 DataNode 配置 10 块 8T 的硬盘,那么,采购 30 台 DataNode 服务器即可。在每个机柜中都可部署相应的 Hadoop 服务,可以看出,机柜 1 和 2 分别部署了 NameNode 的主、被节点,这两个主、备节点分开部署到不同的机柜,可以最大限度保证 NameNode 的可靠性,不建议将主、备节点部署到同一个机柜中,因为如果某个机柜发生故障(电源故障、网络故障),那么主、备将失去存在的意义。原创 2022-10-26 10:24:40 · 3812 阅读 · 1 评论 -
HBase二级索引、读写流程
HBase二级索引HBse二级索引方案基于Coprocessor方案Phoenix二级索引特点Phoenix 二级索引方案相关优秀博文案例:博客园:花未全开*月未圆:HBase的二级索引博客园:small_k:hbase实践之协处理器Coprocessor简书:5c7b85ab9023:Hbase使用Coprocessor构建二级索引HBase本身只提供基于行键和全表扫描的查询,而行...原创 2019-12-23 09:31:15 · 465 阅读 · 0 评论 -
Java 操作 HBase 教程
Java 操作 HBase 教程一、简介二、hbase-client 引入三、连接操作四、表操作五、运行测试相关博文原文地址:博客园:美码师:HBase(2) Java 操作 HBase 教程一、简介HBase 本身就是用 Java 编写的,天生自带了 Java 原生API。 我们可以通过 hbase-client 来实现 HBase 数据库的操作。所以,这次主要介绍该组件的基本用法...转载 2019-12-10 14:44:50 · 925 阅读 · 0 评论 -
HBase与Zookeeper的关系
HBase与Zookeeper的关系一、HBase与Zookeeper的关系ZookeeperClientMasterRegionServer一、HBase与Zookeeper的关系Client客户端、Master、Region都会通过心跳机制(RPC通信)与zookeeper保持联系。当在Hbase中插入或读取数据时流程如下:在Client中写一个Java类运行,客户端只需要连接zoo...转载 2019-10-28 14:54:55 · 2864 阅读 · 0 评论 -
HBase的Write Ahead Log (WAL)
HBase的Write Ahead Log (WAL)一、预写日志WAL(Write-Ahead-Log)HLogHLogKeyLogFlusherLogRollerReplay问题二、WAL的写入一、预写日志WAL(Write-Ahead-Log)HBase的Write Ahead Log (WAL)提供了一种高并发、持久化的日志保存与回放机制。每一个业务数据的写入操作(PUT / DELE...原创 2019-10-28 13:35:31 · 849 阅读 · 0 评论 -
监控平台系统
HBase监控平台系统一、HBase监控平台系统的组件介绍1.InfluxDbInfluxDb特性与特点influxDB名词influxDB的一些概念influxDB基本操作数据库与表的操作增查数据保存策略(Retention Policies)连续查询(continuous Queries)用户管理2.Grafana3.Jmxtrans二、HBase监控平台的搭建Hbase监控搭建数据可视化之G...原创 2019-10-23 16:38:01 · 1462 阅读 · 0 评论 -
HBase Shell
HBase Shell 1.Hbase的访问方式2.Hbase shell基本用法3.Hbase shell命令3.1general3.1.1status3.1.2version3.1.3whoami3.2ddl3.2.1create3.2.2alter3.2.3alter_async3.2.4describe / desc3.2.5disable3.2.6disable_all3.2.7drop...转载 2019-09-16 19:53:30 · 550 阅读 · 0 评论 -
Spark-读写HBase,SparkStreaming操作,Spark的HBase相关操作
Spark-读写HBase1.sparkstreaming实时写入Hbase(saveAsNewAPIHadoopDataset方法)2.sparkstreaming整合kafka实现exactly-once语义3.sparkstreaming同时消费多个topic的数据实现exactly-once的语义4.spark读取hbase数据(newAPIHadoopRDD方式)原文作者:JasonL...原创 2019-09-07 16:11:26 · 1102 阅读 · 0 评论 -
HBase基本知识介绍及典型案例分析
HBase一、HBase是什么?HBase表核心概念HBase表核心概念HBase数据模型:逻辑视图HBase数据模型:物理视图HBase架构HBase写数据HBase MemStoreHBase Region FlushHBase CompactionHBase SpiltHBase读数据HBase Region查找二、RowKey设计RowKey的作用RowKey的设计原则RowKey的设计—...转载 2019-07-15 15:17:48 · 1293 阅读 · 0 评论 -
HBase,以及GeoMesa设计基于HBase的设计分析,从数据模型到典型查询场景,最后进行RowKey设计
GeoMesa设计基于HBase的设计分析,从数据模型到典型查询场景,最后进行RowKey设计一、HBase基本概念理解KeyValueKeyValue多版本列定义(1)列定义(2)Column FamilyRowKey即索引RowKey字段的选取二、GeoMesa设计基于HBase的设计分析,从数据模型到典型查询场景,最后进行RowKey设计数据模型GeoMesa-典型查询场景GeoMesa-R...原创 2019-07-15 09:42:06 · 1282 阅读 · 0 评论