HadoopDB(耶鲁大学的老师弄的基于hive+hadoop的东东)

前段时间学习hadoop时，在网上看到了HadoopDB（http://db.cs.yale.edu/hadoopdb/hadoopdb.html），学习了下，觉得还是有些价值，下面是我对HadoopDB的一些理解。

 

HadoopDB介绍

1：架构（三部分）

Hive + Hadoop + StoreSystem

 

2：各部分解释

• 对Hive做以下改造

原始Hive实现：

sql->parse->execution plan->生成map/reduce任务

修改后Hive实现：

sql->parse->execution plan->重新生成step sql->重新生成map/reduce任务（修改过，主要是对inputformat作修改，支持对关系型数据库的查询）

 

• hadoop则直接使用

 

• StoreSystem被改造为从关系数据库postgresql中取数据（当然，也可以改造成从任何存储系统里取数据，包括最原始hive从dfs中取数据）

 

3：HadoopDB总体实现说明

• 数据分散工作

首先把文本文件里的数据导入至关系型数据库里。方式是这样的，由用户的配置文件（节点数，数据库名，表名，冗性数）生成最终配置文件，内容主要是各节点上将要配备

的数据库，包括库名，jdbc连接串，用户名，密码。接着开始导入数据，实现思想是这样的，就是把一完整的文本文件先hash成多份，然后又把每一份hash多份至同一个节点上，对每一节点上的多个分散文件都以不同库名存入数据库中（目的是为了map/reduce生成多份splits）。数据分散的工作就做完了。

 

• hive工作

parse sql后生成execution plan,循环对每个step重新得到sql并存至conf中，以备后续map/reduce在recordreader中作为query string作数据库查询操作

map/reduce工作

所有点节上的每一个不同的数据库都会同时有一个task执行，每一个split就对应一个分散后的数据库，然后在recordreader里作数据库的连接及查询操作。

 

4：HadoopDB优缺点

• 优点：

结合hive对sql强大的支持并直接生成map/reduce任务，不需要再手动编写map/reduce程序。利用关系数据库查数据则又是利用单节点的性能优势。其它就是hadoop所具有的一切优势了。

 

• 缺点：

如果不想手动编写map/reduce程序，则只能查询的sql语句的数据来源不能来自多张表，原因是因为他目前只相当对一个数据库的多个分块并行查询，所以不能做到多分块的数据关系处理。当然为了实现多表join,可手动改造inputformat以实现。