2.5 利用HCatalog管理元数据

转载 2015年07月06日 16:44:04

转: http://book.2cto.com/201408/45864.html


在HDFS和HBase之间,Hadoop提供了许多保存数据的方法,使得数据可以被多个应用程序访问。但将数据集中存储并提供给多个应用程序访问,这样做产生了一系列新的挑战,包括以下几点:

如何分享数据,才能够使数据以用户想要的任何形式来保存和处理?

如何能够将不同的Hadoop应用程序和其他系统集成?

访问数据的常见方法之一是通过表抽象,该方法通常用于访问关系型数据库,并且为许多开发者所熟知(和广泛采用)。一些流行的Hadoop系统,例如Hive和Pig,也采用了这种方法。这种抽象解除了数据如何存储(HDFS文件、HBase表)与应用程序如何处理数据(表格式)之间的耦合。此外,它允许从较大的数据语料库中“过滤”感兴趣的数据。

为支持这种抽象,Hive以关系型数据库的形式提供了元存储,这允许我们捕获实际物理文件(和HBase表)与用于访问该数据的表(虚拟的)之间的依赖关系。

Hive和Pig

传统上,数据保存在数据库中,SQL是提供给数据工作者的主要接口。

Hadoop的数据仓库系统——Hive,旨在为这些数据工作者简化Hadoop的使用,它提供了HiveQL——一种类似SQL的语言,用于访问和操作基于Hadoop且保存在HDFS和HBase中的数据。通过将请求透明地转换为MapReduce执行,HiveQL支持专有的查询、连接、摘要等。其结果是,Hive查询不是实时执行,而是作为批量任务执行。

Pig是另外一个Hadoop数据仓库系统,与类SQL的语言不同,它使用Pig的专用脚本语言——Pig Latin。Pig Latin将数据视为一个元组集合(字段的有序集合),允许将输入元组转换为输出。类似于Hive,Pig支持专有的查询、连接和其他操作,且将Pig Latin代码转换为MapReduce执行。Pig还支持大量的并行机制和诸多优化技巧,使其能够处理非常庞大的数据集。

第13章有关于Hive和Pig更详细的信息。

一个新的Apache项目(HCatalog)扩展了Hive的元存储,同时保留了Hive DDL中用于表定义的组件。其结果是,Hive的表抽象(当使用了HCatalog时)可以用于Pig和MapReduce应用程序,这带来了以下一些主要优势:

它使得数据消费者不必知道其数据存储的位置和方式。

它允许数据生产者修改物理数据存储和数据模型,同时仍然支持以旧格式存储的现有数据,从而数据消费者不需要修改他们的处理流程。

它为Pig、Hive和MapReduce提供了共享的结构和数据模型。

HCatalog应用程序的数据模型以表的形式组织,表可以放入数据库中。可以基于一个或多个键对表进行散列分区,这允许我们将包含一个(或一组)给定键值的所有行组织在一起。例如,如果使用日期对一个包含三天数据的表进行分区,那么表中将会有三个分区。可以从表中动态地创建和删除新分区。分区是多维度的,而非层次化的。

分区包含多条记录。一旦创建了分区,相应的记录集就确定了,并且不能修改。记录被划分为多列,每列均有名称和数据类型。HCatalog支持与Hive相同的数据类型。

HCatalog还为“存储格式开发者”提供了一个API,用于定义如何读取和写入保存在实际物理文件或HBase表中的数据(与Hive序列化/反序列化——SerDe相比)。HCatalog的默认数据格式是RCFile。但如果数据以不同格式存储,那么用户可以实现HCatInputStorageDriver和HCatOutputStorageDriver来定义底层数据存储和应用程序记录格式之间的转换。StorageDriver的作用域是一个分区,允许底层存储灵活地支持分区修改,或者将不同布局的多个文件合并为一个单独的表。

以下是HCatalog的三个基本用途:

工具间通信——大多数复杂的Hadoop应用程序都会使用多种工具来处理相同的数据。它们可能将Pig和MapReduce的组合用于抽取、转换、加载(ETL)的实现,MapReduce用于实际的数据处理,而Hive用于分析查询。中心化元数据存储库的使用简化了数据共享,并确保了某个工具的执行结果总是对其他工具可见。

数据发现——对于大型Hadoop集群来说,常见的情形是应用程序和数据具有多样性。通常,一个应用程序的数据可以被其他应用程序使用,但试图发现这些情况需要大量跨应用程序的信息。在这种情况下,可以将HCatalog用作对任何应用程序可见的注册表。将数据在HCatalog中发布就可以让其他应用程序发现它们。

系统集成——HCatalog所提供的REST服务,打开了Hadoop数据和处理的大门,使其可以应用在整体的企业级数据和处理基础设施中。Hadoop以简易API和类似SQL语言的形式提供了简单的接口。

本节概述了存储数据的一些方法,以及如何对其进行组装/反组装。下一节介绍一些关于如何为特定应用程序设计数据布局的指南。

 

相关文章推荐

Hcatalog (表和底层数据管理统一服务平台) 基础概念

HCatalog屏蔽了底层数据存储的位置格式等信息,为上层计算处理流程提供统一的,共享的metadata。 并且将数据以表的形式呈现给用户(如Pig, MR, Hive, Streaming..),用...
  • ronmy
  • ronmy
  • 2017年03月05日 14:16
  • 362

EDW元数据管理及应用

  • 2014年12月29日 14:59
  • 2.46MB
  • 下载

元数据管理系统的研究与实现

元数据管理系统的研究与实现 摘 要: 元数据就是描述数据的数据,随着信息技术的快速向前发展,元数据在地理空间信息资源共享过程中起着关键的作用。元数据有自己的标准,这个标准的主要作用是介绍了元数据的组...

DMBOK_元数据管理

  • 2013年12月26日 00:16
  • 1.13MB
  • 下载

hadoop NN元数据管理机制

hdfs文件写入流程 NN采用读写分离机制 元数据合并机制
  • csdncjh
  • csdncjh
  • 2016年09月07日 23:19
  • 121

元数据管理

  • 2015年09月16日 11:18
  • 514KB
  • 下载

基于属性和连接的文件系统元数据管理方法

传统文件系统对于文件间的关联以及
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:2.5 利用HCatalog管理元数据
举报原因:
原因补充:

(最多只允许输入30个字)