HadoopDB是由耶鲁大学开发的项目，旨在结合Hadoop的容错性和异构环境运行能力与并行RDBMS的高性能，尤其是针对JOIN和聚合操作。它通过在Map阶段利用并行数据库系统处理SQL，然后在Reduce阶段读取结果，提升数据仓库的性能。HadoopDB包括SMS Planner进行任务优化，Catalog存储数据库信息，Data Loader负责数据分区，Database Connector传递信息，以及Paralled Database存储数据。对于特定的SQL查询，HadoopDB能够在并行数据库中直接执行，提高效率。
读了两篇关于hadoopDB数据仓库的论文之后，写一点关于hadoopDB的简介：
hadoopDB是耶鲁大学的一个大学项目， 目的是为了构建一个数据仓库的工具。
HadoopDB 结合了hadoop 和paralled RDBMS，结合两个技术的优点。
HadoopDB is to connect multiple single_node database systemusing Hadoop as the task coordinator and network communication layer.
Hadoop的优点：fault toleranceand ability to operate in a heterogeneous environment properties.
缺点： performance,特别是对于join和aggregation操作。
Paralled RDBMS的优点： performance, 特别是对于join和aggregation的优化 处理。
缺点：就是hadoop的优点。
原来hadoop + hive就是一套完整数据仓库工具，hive的作用是把用户输入的类SQL语句翻译成hadoop能够执行一些操作-mapreduce的任务tree（包含多个mapreduce的操作），只有由hadoop去执行。但是这些操作都是基于google自己的HDFS，所以在performance上并不是理想。同类的产品还有yahoo的pig, Microsoft的SCOPE。
HadoopDB的最终想法就是在map阶段把SQL语句尽量的让paralledRDBMS 去执行，尽量发挥并行数据库系统的优势，之后把每个node的输出序列化到temp文件中，
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
