hbase 删除列族下的某一列_技术夜校HBase运维实践

最新推荐文章于 2024-10-15 16:53:21 发布

weixin_39893893

最新推荐文章于 2024-10-15 16:53:21 发布

阅读量694

点赞数 1

每年的“618”、“双11”、”双12“等促销日对“剁手党”来说是一场场的狂欢，而对于电商的运维团队来说则是一场又一场不能有丝毫松懈的战斗，会耗费大量精力和体力。在极限高并发访问的情况下，在线交易系统、支付系统等是如何经受住考验的呢？

技术夜校第五期邀请到有丰富电商运维经验，曾多次参与电商大促运维保障的大咖云锦给大家带来HBase运维实践的分享。他曾负责2万+服务器，在大数据，容器化方面积累了丰富的实战经验。

HBase是什么

分享伊始，云锦问了大家是否听说过HBase，现场同学反映热烈，大多数同学都有所了解。HBase是一个分布式的、面向列的开源数据库，适合于非结构化数据存储的数据库，基于列而不是基于行的模式。随着数据增长，自动分裂。它主要有3个特点：海量PB级存储、水平扩展，稀疏、多版本，数据类型单一、字节数组。

HBase的整体架构如下图：

从下往上分为三个部分，最下面为Hadoop，是一个HDMS分布式的存储系统，默认三副本，比较可靠。

HMaster和HRegionServer是一个主从架构，RegionServer主要作用是负责响应，客户端读写。在RegionServer里有Region和HLog，Hlog是预写日志，主要作用是防止某个RegionServer宕机后，可及时做恢复。HBase表的数据是分散在Region里的，随着表的数据越来越大，它可能会切分成多个Region，换言之，每个Region的数据就是表数据的一部分。Region里有store，一个Region有多少个store，取决于Region表里的数据有多少个列族。Store里有Memstore和StoreFile，Memstore是一块内存空间。架构最上面是HMaster，是响应客户端的DDL操作，如建表，删表，修改表等，以及对集群做balance，即表的数据会切分到多个Region，对Region做负载均衡。

Zookeeper是Client端的源数据寻阻入口，Client端请求Zookeeper达到meta表所在的RegionServer，最终根据用户的请求，与具体的RegionServer做交互。Client是操作HBase集群的入口。

HBase应用场景

HBase在监控、在线服务、订单信息等场景均有应用。

在线服务类场景中，以电信上网详单为例，电信用户庞大，每个用户上网流量详单的数据需要实时保存，需要底层数据库有较高吞吐，其次用户在做查询时，要求低延迟响应，随机读写。在切换HBase之前，经常出现服务不可用或响应慢的情况，切换后即较平稳。

在监控类场景中，涉及时间序列数据库，底层opentsdb实际的存储是HBase。集群峰值时tbs写入是两百多万，若用传统数据库则难以支撑，而用HBase则能轻松实现，在用户做调用链性能查询时，能做到实时响应。

在订单信息类场景中，可应用于电商历史订单、私信通知、App push通知等。随着电商的订单量越来越大，历史订单达到上百亿时，用传统的数据做分库分表风险较大。历史订单查询频率较低，用HBase能轻松解决海量存储及用户的在线查询。

HBase基本操作

如何使用HBase？HBase表与传统数据库表读写和查询有哪些不同？HBase表模型由rowkey、column family(列族)、timestamp(时间戳)三部分组成。与传统数据库相比，不同在于HBase有列族的概念，列族下面的列可以随着业务场景在线添加，时间戳可以对表格的历史版本号、版本数做保留。

HBase的基本操作有：查表、建表、插入数据、查询数据get、查询数据scan、删除数据等，具体如下：

查表