关闭

2.5 利用HCatalog管理元数据

326人阅读 评论(0) 收藏 举报
分类:

转: http://book.2cto.com/201408/45864.html


在HDFS和HBase之间,Hadoop提供了许多保存数据的方法,使得数据可以被多个应用程序访问。但将数据集中存储并提供给多个应用程序访问,这样做产生了一系列新的挑战,包括以下几点:

如何分享数据,才能够使数据以用户想要的任何形式来保存和处理?

如何能够将不同的Hadoop应用程序和其他系统集成?

访问数据的常见方法之一是通过表抽象,该方法通常用于访问关系型数据库,并且为许多开发者所熟知(和广泛采用)。一些流行的Hadoop系统,例如Hive和Pig,也采用了这种方法。这种抽象解除了数据如何存储(HDFS文件、HBase表)与应用程序如何处理数据(表格式)之间的耦合。此外,它允许从较大的数据语料库中“过滤”感兴趣的数据。

为支持这种抽象,Hive以关系型数据库的形式提供了元存储,这允许我们捕获实际物理文件(和HBase表)与用于访问该数据的表(虚拟的)之间的依赖关系。

Hive和Pig

传统上,数据保存在数据库中,SQL是提供给数据工作者的主要接口。

Hadoop的数据仓库系统——Hive,旨在为这些数据工作者简化Hadoop的使用,它提供了HiveQL——一种类似SQL的语言,用于访问和操作基于Hadoop且保存在HDFS和HBase中的数据。通过将请求透明地转换为MapReduce执行,HiveQL支持专有的查询、连接、摘要等。其结果是,Hive查询不是实时执行,而是作为批量任务执行。

Pig是另外一个Hadoop数据仓库系统,与类SQL的语言不同,它使用Pig的专用脚本语言——Pig Latin。Pig Latin将数据视为一个元组集合(字段的有序集合),允许将输入元组转换为输出。类似于Hive,Pig支持专有的查询、连接和其他操作,且将Pig Latin代码转换为MapReduce执行。Pig还支持大量的并行机制和诸多优化技巧,使其能够处理非常庞大的数据集。

第13章有关于Hive和Pig更详细的信息。

一个新的Apache项目(HCatalog)扩展了Hive的元存储,同时保留了Hive DDL中用于表定义的组件。其结果是,Hive的表抽象(当使用了HCatalog时)可以用于Pig和MapReduce应用程序,这带来了以下一些主要优势:

它使得数据消费者不必知道其数据存储的位置和方式。

它允许数据生产者修改物理数据存储和数据模型,同时仍然支持以旧格式存储的现有数据,从而数据消费者不需要修改他们的处理流程。

它为Pig、Hive和MapReduce提供了共享的结构和数据模型。

HCatalog应用程序的数据模型以表的形式组织,表可以放入数据库中。可以基于一个或多个键对表进行散列分区,这允许我们将包含一个(或一组)给定键值的所有行组织在一起。例如,如果使用日期对一个包含三天数据的表进行分区,那么表中将会有三个分区。可以从表中动态地创建和删除新分区。分区是多维度的,而非层次化的。

分区包含多条记录。一旦创建了分区,相应的记录集就确定了,并且不能修改。记录被划分为多列,每列均有名称和数据类型。HCatalog支持与Hive相同的数据类型。

HCatalog还为“存储格式开发者”提供了一个API,用于定义如何读取和写入保存在实际物理文件或HBase表中的数据(与Hive序列化/反序列化——SerDe相比)。HCatalog的默认数据格式是RCFile。但如果数据以不同格式存储,那么用户可以实现HCatInputStorageDriver和HCatOutputStorageDriver来定义底层数据存储和应用程序记录格式之间的转换。StorageDriver的作用域是一个分区,允许底层存储灵活地支持分区修改,或者将不同布局的多个文件合并为一个单独的表。

以下是HCatalog的三个基本用途:

工具间通信——大多数复杂的Hadoop应用程序都会使用多种工具来处理相同的数据。它们可能将Pig和MapReduce的组合用于抽取、转换、加载(ETL)的实现,MapReduce用于实际的数据处理,而Hive用于分析查询。中心化元数据存储库的使用简化了数据共享,并确保了某个工具的执行结果总是对其他工具可见。

数据发现——对于大型Hadoop集群来说,常见的情形是应用程序和数据具有多样性。通常,一个应用程序的数据可以被其他应用程序使用,但试图发现这些情况需要大量跨应用程序的信息。在这种情况下,可以将HCatalog用作对任何应用程序可见的注册表。将数据在HCatalog中发布就可以让其他应用程序发现它们。

系统集成——HCatalog所提供的REST服务,打开了Hadoop数据和处理的大门,使其可以应用在整体的企业级数据和处理基础设施中。Hadoop以简易API和类似SQL语言的形式提供了简单的接口。

本节概述了存储数据的一些方法,以及如何对其进行组装/反组装。下一节介绍一些关于如何为特定应用程序设计数据布局的指南。

 
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:375079次
    • 积分:5174
    • 等级:
    • 排名:第5533名
    • 原创:39篇
    • 转载:872篇
    • 译文:2篇
    • 评论:27条
    最新评论