HBase
devalone
这个作者很懒,什么都没留下…
展开
-
HBase CRUD 操作指南 (一)
1 概述 (General Notes)HBase 的主要客户端入口点是 org.apache.hadoop.hbase.client 包的 Table interface. 该接口为用户提供了向 HBase 存储和获取数据全部必须的功能,以及删除无效数据之类的操作。它通过 Connection 实例建立与 HBase 服务器连接。不过,在讨论这些类提供的各种方法之前,让我们了解一些这些用法...原创 2018-07-08 11:02:01 · 755 阅读 · 0 评论 -
HBase 客户端类型 (三)
继 HBase 客户端类型 (二) 4. HBase Shell 交互接口HBase shell 是 HBase 集群的命令行接口。可以使用它连接到本地或远程服务器并与之交互。shell 提供了客户端和系统管理操作。 4.1 基础 (Basics)-----------------------------------------------------------------...原创 2018-07-21 10:34:01 · 3192 阅读 · 0 评论 -
HBase 协处理器 (二)
继 HBase 协处理器 (一) 3.7 The RegionObserver Class用于 region level, 注意,这个类的所有调用方法的第一个参数为 ObserverContext<RegionCoprocessorEnvironment> ctx8, 提供访问 context 实例。操作可以被划分为两组: region 生命周期变化和客户端 API...原创 2018-07-14 17:57:01 · 1113 阅读 · 0 评论 -
HBase 协处理器 (一)
之前讨论了如何利用过滤器来降低从服务器端到客户端发送的数据量。利用 HBase 的协处理器特性,用户甚至可以将一部分计算移到数据所在的机器上。3.1 协处理器简介 (Introduction to Coprocessors)利用客户端 API, 配合特定的选择器机制,如果过滤器,或列族作用域,可以限制传输到客户端的数据。如果可以更进一步优化会更好,例如,数据的处理直接放到服务器端执行,然...原创 2018-07-14 15:45:23 · 1794 阅读 · 0 评论 -
HBase 客户端类型 (二)
继 HBase 客户端类型 (一) 3. Framework Clients---在更直接的网关客户端之后,现在要讨论第二类客户端,将它们统称为框架(framework)。这类客户端提供了更高级的抽象,一般使用 domain specificlanguage (DSL) 的形式。包括,例如 SQL, 关系数据库系统与外部客户端的混合用语(lingua franca),以及 MapRed...原创 2018-07-20 09:32:40 · 898 阅读 · 0 评论 -
HBase 计数器 (Counters)
HBase 提供了一个高级特性:计数器(counter)。很多收集统计信息的应用,例如在线广告的单击或查看统计,将这些数据收集到日志文件中用于后期的分析。利用计数器提供的实时统计,从而放弃延时较高的批处理操作。2.1 计数器简介 (Introduction to Counters)--------------------------------------------------------...原创 2018-07-13 14:21:28 · 2099 阅读 · 0 评论 -
HBase 安装 (Installation)
本文所有描述内容假设已经安装了 Java Runtime Environment (JRE)。 Hadoop 和 HBase 要求至少为 Java 7 版本,并且建议使用 Oracle Java。本文所有描述内容为 HBase 原生安装(native),即使用 HBase 发布软件包安装。如果要了解通过工具安装和管理 HBase,参考另两篇文章: Ambari 2.6.1 构建 Had...原创 2018-07-07 09:51:20 · 300 阅读 · 0 评论 -
HBase 客户端类型 (一)
HBase 自带了很多用于各种编程语言客户端。 1. 介绍 (Introduction)----------------------------从目前非常流行的语言和环境可以访问 HBase。可以直接使用客户端 API, 或者通过一些中间代理访问,将用户请求翻译成 API 调用。这些代理将原生的Java API 包装成其它协议的 API,这样客户端就可以使用这些对外提供的 API 以...原创 2018-07-19 11:10:33 · 3480 阅读 · 0 评论 -
Hadoop 之关于 HBase
1. HBase 基础 HBase 是构建于 HDFS 之上的面相列分布式数据库。如果要求实时的随机访问(读/写)大规模数据集,就可以使用 HBase 这一 Hadoop 应用。虽然数据库的存储和检索有很多不同的策略和实现,但大多数解决方案 ———— 特别是许多关系型数据库的变种 ———— 它们不是构建于大规模和分布式思想。很多厂商提供复制和分区解决方案来将数据库从单个节点边界扩展出去...原创 2018-07-05 10:40:28 · 661 阅读 · 0 评论 -
HBase 简介 (Introduction)
HBase: The Hadoop Database1.1 海量数据的黎明 (The Dawn of Big Data) 对于海量数据的重要性, Ralph Kimball 博士指出: "数据资产会取代 20 世纪传统有形资产的地位,成为资产负债表的重要组成部分。" "数据的价值已经超越了传统企业广泛认同的价值边界。" 列式存储数据库 (Column-Oriente...原创 2018-07-06 10:46:18 · 288 阅读 · 0 评论 -
HBase 过滤器 (二)
继 HBase 过滤器 (一)1.3 专用过滤器 (Dedicated Filters)----HBase 提供的第二类过滤器直接基于 FilterBase 并实现了更特定的应用场景。其中的很多过滤器事实上只适用于执行扫描操作时,因为它们过滤整个行。对于 get() 调用,这些过滤器的限制过于苛刻:包括所有行,后者什么也不包括。 ■ 前缀过滤器 (PrefixFilter)...原创 2018-07-12 15:47:24 · 2045 阅读 · 1 评论 -
HBase 管理 API: HBaseAdmin (HBase DDL)
类似于客户端 API, HBase 也有用于管理任务的 API。管理 API 与 RDBMS 的 Data Definition Language (DDL) 类似,而客户端 API 更类似于 Data Manipulation Language (DML).管理 API 提供了各种数据管理操作功能:通过列族创建表,检查表是否存在,修改表和列族定义,删除表等等。下面将其提供的功能按操作相关性分...原创 2018-07-18 14:33:10 · 5141 阅读 · 0 评论 -
HBase 模式定义 (Schema Definition)
在 HBase 中创建一个表包括表模式(table schema)的定义, 以及所包含的列族的模式(schemas for all contained column families). 它们定义了如何,以及何时存储表和列的数据。在更高级别上,每个表是一个名称空间(namespace)的一部分。1.1 名称空间 (Namespaces)--------------------------...原创 2018-07-17 15:21:22 · 6176 阅读 · 0 评论 -
HBase 过滤器 (一)
HBase 过滤器(filters) 提供了非常强大的功能来帮助用户提高其处理表中数据的效率。用户不仅可以使用 HBase 中预定义好的过滤器,而且可以实现自定义的过滤器。1.1 过滤器介绍 (Introduction to Filters)HBase 中两种主要的读取功能是 Table.get() 和 Table.scan(), 这两种方法或者直接访问数据,或者使用起始和结束键。可以通过...原创 2018-07-11 10:07:03 · 982 阅读 · 0 评论 -
HBase CRUD 操作指南 (三)
继 HBase CRUD 操作指南 (二) 4 批处理操作 (Batch Operations)之前介绍的 API 都是应用到单一行上的操作。本节介绍另外一些 API 调用,这些调用可以批量处理跨多行的不同操作。 NOTE: --------- 事实上,许多基于列表的操作,如 delete(List<Delete> deletes) 或 get...原创 2018-07-10 09:40:13 · 1810 阅读 · 0 评论 -
HBase CRUD 操作指南 (二)
继 HBase CRUD 操作指南 (一) 3. CRUD 操作 (CRUD Operations)数据库的初始基本操作通常称为 CRUD (create, read, update, and delete), 指的是 增、查、改、删四种操作。HBase 中有与之对应的的一组操作,由Table interface 接口提供。 public interface Table ...原创 2018-07-09 09:52:30 · 2488 阅读 · 0 评论 -
HBase 客户端类型 (四)
继 HBase 客户端类型 (三)5.HBase Web-based UIHBase 提供了基于 web 的用户接口(UI), 利用此接口,可以观察集群的状态及其所存储的表。大多数功能时只读的,但也有几个选择性操作可以通过 web UI触发。另一方面,可以通过 metrics 可以获取非常详细的信息。可以在各种 UI 组件间导航,快速获取当前状态,包括内存使用,region 的数量,缓存效...原创 2018-07-23 09:21:55 · 1954 阅读 · 0 评论