HBase
xiaohei.info
Talk is cheap,show me the code.
展开
-
HBase最佳实践
本文致力于从架构原理、集群部署、性能优化与使用技巧等方面,阐述在如何基于HBase构建 容纳大规模数据、支撑高并发、毫秒响应、稳定高效的OLTP实时系统 。一、架构原理1.1 基本架构从上层往下可以看到HBase架构中的角色分配为:ClientZookeeperHMasterRegionServerHDFSClientClient是执行查询、写入等对HBase表数据进行增...原创 2019-10-11 22:42:53 · 769 阅读 · 0 评论 -
HBase生产环境配置与使用优化
https://yq.aliyun.com/articles/665520?spm=a2c4e.11155435.0.0.407c3312acd7tdHBase上线至今,承载了线上所有实时交易量,虽然大部分请求都能够保证服务稳定(99.56%响应时间毫秒级),但是一旦HBase出现问题就是鸡飞狗跳的灾难。从老机器到新集群,从老机房到新机房,期间经历过各种问题和生产故障,总结一番以备不时之需。...原创 2018-11-12 10:16:19 · 4500 阅读 · 1 评论 -
HBase客户端API使用
篇幅中使用的HBase版本为1.1.2Java APIHBase提供了一套Java API来支持Java程序对HBase数据库的请求操作,在hbase shell中能够使用的都可以通过这套API来实现 HBase有两套API,分别是1.0和2.0,在较新版本的HBase中使用1.0的API时,很多类和方法都被标记为Deprecated,官方表示旧版本的API将会在3.0版本中删除,原创 2016-07-21 19:07:59 · 9513 阅读 · 0 评论 -
HBase概览
近期准备系统的学习一下HBase的知识,包括构架和原理等方面,以便为后续的开发工作做准备,做到知其然而之所以然的状态,而不再是瞎子摸象般的搞开发 本篇作为开篇,只是对HBase做一个大体的介绍,各个小节没有很大的关联性,很多只是将系统中一些繁杂又有用的东西记录下来,以备日后查阅学习路线整理了一下手头上HBase的相关资料,发现特别零散,没有一个系统性的指导,所以特别想入一本《HBase权威指南》原创 2016-07-20 13:43:45 · 2910 阅读 · 0 评论 -
HBase集群管理
通过之前文章的描述,我们已经有能力设计并部署搭建HBase集群了 当我们的HBase集群开始运行的时候,新的挑战又来了 例如,我们可能会遇到在集群运行的时候添加或者删除节点 又或者需要拷贝/备份整个集群的数据等等 如何在集群运行的时候以最小的代价来执行这些操作呢? 下面总结一下HBase集群的相关运维和管理知识点运维任务添加/删除节点在HBase中动态添加/删除节点非常简单,只需要一些命原创 2016-07-20 19:01:21 · 1697 阅读 · 0 评论 -
HBase高级用法
行健设计在HBase中有两类基本的键结构:行健和列键 这两者都存储着有意义的信息,不仅仅是该键对应的值: 键本身存储的内容 键的排列顺序 在HBase中,键的排序顺序是十分重要的概念如之前所说,HBase的键分为两种: 列键:包括了列族名和限定符,定位到列的索引 行健:相当于关系型数据库中的主键,通过行健得到逻辑布局中一行的所有列 如原创 2016-07-18 09:52:35 · 7990 阅读 · 1 评论 -
HBase性能优化指南
垃圾回收优化当region服务器处理大量的写入负载时,繁重的任务会迫使JRE默认的内存分配策略无法保证程序的稳定性 所以我们可能需要对region服务器的垃圾回收机制进行一些参数调整(因为master并不处理实际任务,所以没有优化的必要)首先来了解JAVA内存中的几个概念在HBase构架中我们可以知道 数据会被写入到memstore内存中直到达到一个阈值之后刷写持久化到磁盘 但是由于数据是客户原创 2016-07-19 16:55:24 · 6654 阅读 · 0 评论 -
HBase构架
存储结构HBase构架如上图所示,一个HBase集群是由Zookeeper、HMaster和HRegionServer构成的HRegionServerHBase集群上的各个节点,一个数据量很大的表可能被保存在不同RegionServer上HLogHBase将数据存储在各个HRegionServer上,每个HRegionServer都有一个HLog文件记录该节点上数据的CRUD操作记录 图中错误的地原创 2016-07-12 19:34:19 · 4545 阅读 · 0 评论 -
HBase设计与开发
HBase设计与开发@(HBase)基本概念行健:是hbase表自带的,每个行健对应一条数据。 列族:是创建表时指定的,为列的集合,每个列族作为一个文件单独存储,存储的数据都是字节数组,其中的数据可以有很多,通过时间戳来区分。 物理模型:整个hbase表会拆分为多个region,每个region记录着行健的起始点保存在不同的节点上,查询时就是对各个节点的并行查询,当region很大时使用.MET原创 2016-01-12 16:14:15 · 2737 阅读 · 0 评论 -
HBase基础和伪分布式安装配置
一、HBase(NoSQL)的数据模型1.1 表(table),是存储管理数据的。1.2 行键(row key),类似于MySQL中的主键,行键是HBase表天然自带的,创建表时不需要指定1.3 列族(column family),列的集合。一张表中有多个行健,一个行健读取出来的是一条记录,列族和MySQL中的列差不多,但是它是列的集合HBase中列族是需要在定义表时指定的,列原创 2015-02-13 18:22:43 · 1170 阅读 · 0 评论 -
HBase集群的安装部署
HBase的安装是是建立在hadoop和zookeeper集群之上的安装的步骤跟伪分布式差不多,只是修改了一些配置文件解压缩、重命名、设置环境变量把hbase-0.94.2-security.tar.gz复制到/home/hadoop解压hbase-0.94.2-security.tar.gz与重命名#cd /home/hadoop#tar -zxv原创 2015-02-14 19:56:53 · 1227 阅读 · 0 评论 -
hbase集群安装和shell操作
1.上传hbase安装包2.解压3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了)注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下让hbase节点知道hdfs的映射关系,也可以在hbase-site.xml中配置3.1修改hbase-env.shexport JAVA_HOME=/原创 2015-03-24 19:28:06 · 1265 阅读 · 0 评论 -
Oracle数据迁移至HBase操作记录
Oracle数据迁移至HBase操作记录@(HBase)近期需要把Oracle数据库中的十几张表T级别的数据迁移至HBase中,过程中遇到了许多苦难和疑惑,在此记录一下希望能帮到一些有同样需求的兄弟。HBase表设计首先,是根据Oracle的数据规划HBase的表和表结构。 从业务上看,十几张表大概可以分为两大部分: 交易信息 客户操作 刚开始的计划是将所有表都导入HBase中原创 2016-01-12 21:57:38 · 8370 阅读 · 3 评论