![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hbase
大数据技术之路---花火
这个作者很懒,什么都没留下…
展开
-
HBase 四种数据迁移方案
本文原文:http://ballwql.cnblogs.com/一、前言HBase数据迁移是很常见的操作,目前业界主要的迁移方式主要分为以下几类:图1.HBase数据迁移方案从上面图中可看出,目前的方案主要有四类,Hadoop层有一类,HBase层有三类。下面分别介绍一下。二、Hadoop层数据迁移2.1 方案介绍Hadoop层的数据迁移主要用到DistCp(Distributed Copy), 官方描述是:DistCp(分布式拷贝)是用于...原创 2020-08-21 10:28:43 · 732 阅读 · 0 评论 -
阿里巴巴HBase高可用
2011年毕玄和竹庄两位大神将HBase引入阿里技术体系,2014年接力棒转到东8区第一位HBase commiter天梧手中,多年来与淘宝、旺旺、菜鸟、支付宝、高德、大文娱、阿里妈妈等几乎全BU合作伙伴携手共进,支撑了双十一大屏、支付宝账单、支付宝风控、物流详情等核心业务。2018年双十一,HBase全天处理请求2.4万亿行,单集群吞吐达到千万级别。从一个婴儿成长为青年,阿里HBase...原创 2019-12-12 10:23:25 · 262 阅读 · 0 评论 -
hbase学习教程(一):hbase的概述和hbase架构及基本组件
一、hbase的概述概述HBase是一个构建在HDFS上的分布式列存储系统; HBase是基于Google BigTable模型开发的,典型的key/value系统; HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储; 从逻辑上讲,HBase将数据按照表、行和列进行存储。 与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,原创 2017-09-28 23:12:30 · 8391 阅读 · 1 评论 -
hbase学习教程(二):HBase容错性和Hbase使用场景、Hbase读写过程详解
HBase容错性Write-Ahead-Log(WAL) 该机制用于数据的容错和恢复: 每个HRegionServer中都有一个HLog对象,HLog是一个实现Write Ahead Log的类,在每次用户操作写入MemStore的同时,也会写一份数据到HLog文件中(HLog文件格式见后续),HLog文件定期会滚动出新的,并删除旧的文件(已持久化到StoreFile中的数据)。当HRegi原创 2017-09-28 23:39:55 · 4381 阅读 · 0 评论 -
hbase学习教程(三):HBase优化技巧、HBase基本命令、使用Java API对HBase服务器进行操作
HBase优化技巧1 修改 linux 系统参数 Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误,导致整个HBase不可运行,你可以用ulimit -n 命令进行修改,或者修改/etc/security/limits.conf 和/proc/sys/fs/file-max 的参数,具体如何修改可以去G原创 2017-09-28 23:46:43 · 864 阅读 · 0 评论