HBase
create17
知行合一。
展开
-
HBase的ACL说明
HBase版本:1.1.2前言该文只是对Kerberos应用部分中HBase使用的一个补充,主要介绍了HBase ACL的使用。一、HBase ACLHBase ACL的全称为HBase Access Control List,它可以实现对各User、Group、Namespace、Table、Column Family、Column Qualifier层级的数据权限控制。我们可...原创 2019-02-17 23:47:51 · 1664 阅读 · 0 评论 -
HBase配置AES加密
版本:HDP:3.0.1.0HBase:2.0.0一、前言为了避免第三方非法访问我们的重要数据,我们可以给HBase配置加密算法,目前HBase只支持使用aes加密算法,用于保护静态的HFile和WAL数据。HBase配置的AES加密是一种端到端的加密模式,其中的加/解密过程对于客户端来说是完全透明的。数据在客户端读操作的时候被解密,当数据被客户端写的时候被加密。这个功能作用就是保证...原创 2019-04-21 21:27:45 · 1314 阅读 · 1 评论 -
HBase原理(一):架构理解
版本说明:通过 HDP 3.0.1 安装的 HBase 2.0.0一、概述Apache HBase 是基于 Hadoop 构建的一个分布式的、可伸缩的海量数据存储系统。常被用来存放一些海量的(通常在TB级别以上)、结构比较简单的数据,如历史订单记录,日志数据,监控 Metris 数据等等,HBase 提供了简单的基于 Key 值的快速查询能力。HBase 实际上更像是“数据存储”而不...原创 2019-05-19 20:58:56 · 239 阅读 · 0 评论 -
HBase二次开发之搭建HBase调试环境,如何远程debug HBase源代码
版本HDP:3.0.1.0HBase:2.0.0一、前言之前的文章也提到过,最近工作中需要对HBase进行二次开发(参照HBase的AES加密方法,为HBase增加SMS4数据加密类型)。研究了两天,终于将开发流程想清楚并搭建好了debug环境,所以就迫不及待地想写篇文章分享给大家。二、思路首先看到这个需求,肯定是需要先实现HBase配置AES加密《HBase配置AES加密》,或...原创 2019-05-19 21:01:01 · 557 阅读 · 0 评论 -
如何使用C++通过thrift访问HBase进行操作
前言上周六,接了一个紧急任务,说实现使用 C++ 访问 HBase 进行操作。说是用 thrift 来实现。对于 C++ 来说,我真的是门外汉,但需求如此,皱着眉头也要把它实现。好歹在同事的帮助下,也是实现了 demo 示例,现在就把这两天的成果分享给大家。版本HDP:2.6.4.0HBase:1.1.2一、安装编译thrift1. 准备工作使用 yum 安装 Develo...原创 2019-05-19 21:01:57 · 1090 阅读 · 1 评论 -
如何将Hive与HBase整合联用
版本说明:HDP:3.0.1.0Hive:3.1.0HBase:2.0.0一、前言之前学习 HBase 就有疑惑,HBase 虽然可以存储数亿或数十亿行数据,但是对于数据分析来说,不太友好,只提供了简单的基于 Key 值的快速查询能力,没法进行大量的条件查询。不过,Hive 与 HBase 的整合可以实现我们的这个目标。不仅如此,还能通过 Hive 将数据批量地导入到 HBase ...原创 2019-06-11 22:36:13 · 683 阅读 · 0 评论 -
python生成hbase测试数据说明
版本:Python:3.6.4 与 2.7.3 均适配一、hbase表介绍表名:people列族:basic_info、other_inforowkey:随机的两位数 + 当前时间戳,并要确保该rowkey在表数据中唯一。列定义:name、age、sex、edu、tel、email、country。二、实现rowkey:随机的两位数:使用random.rand...原创 2019-06-11 22:37:31 · 934 阅读 · 0 评论 -
HBase应用(一):数据批量导入说明
版本说明:通过 HDP 3.0.1 安装的 HBase 2.0.0一、概述HBase 本身提供了很多种数据导入的方式,目前常用的有三种常用方式:使用 HBase 原生 Client API使用 HBase 提供的 TableOutputFormat,原理是通过一个 Mapreduce 作业将数据导入 HBase使用 Bulk Load 方式:原理是使用 MapReduce 作业以...原创 2019-06-11 22:39:23 · 983 阅读 · 0 评论