Hadoop、Hive等介绍

Hue 图形化用户接口

1. 介绍

   Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。

2. 作用

   1，访问HDFS和文件浏览
   2，通过web调试和开发hive以及数据结果展示
   3，查询solr和结果展示，报表生成
   4，通过web调试和开发impala交互式SQL Query
   5，spark调试和开发
   6，Pig开发和调试
   7，oozie任务的开发，监控，和工作流协调调度
   8，Hbase数据查询和修改，数据展示
   9，Hive的元数据（metastore）查询
   10，MapReduce任务进度查看，日志追踪
   11，创建和提交MapReduce，Streaming，Java job任务
   12，Sqoop2的开发和调试
   13，Zookeeper的浏览和编辑
   14，数据库（MySQL，PostGres，SQlite，Oracle）的查询和展示

3. 优点

   因为各种开源项目都有自己的使用方式和开发接口，hue只不过是统一了各个项目的开发方式在一个接口里而已，这样比较方便而已，不用你一会准备使用hive，就开一个hive的cli终端，一会用pig，你就得开一个pig的grunt，或者你又想查Hbase，又得需要开一个Hbase的shell终端。

   如果使用hadoop生态系统的组件很多的情况下，使用hue还是比较方便的，另外一个好处就是hue提供了一个web的界面来开发和调试任务，不用我们再频繁登陆Linux来操作了。

   PS. HDFS：http://www.36dsj.com/archives/41391

Hadoop 分布式处理框架

1. 介绍

   Hadoop是一个能够对大量数据进行分布式处理的软件框架，以一种可靠、高效、可伸缩的方式进行数据处理。
   Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

2. 优点

   • 高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
   • 高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
   • 高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
   • 高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
   • 低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。

3. 与MapReduce的关系

   Hadoop是一种分布式数据和计算的框架。它很擅长存储大量的半结构化的数据集。数据可以随机存放，所以一个磁盘的失败并不会带来数据丢失。Hadoop也非常擅长分布式计算——快速地跨多台机器处理大型数据集合。

   MapReduce是处理大量半结构化数据集合的编程模型。编程模型是一种处理并结构化特定问题的方式。例如，在一个关系数据库中，使用一种集合语言执行查询，如SQL。告诉语言想要的结果，并将它提交给系统来计算出如何产生计算。还可以用更传统的语言(C++，Java)，一步步地来解决问题。这是两种不同的编程模型，MapReduce就是另外一种。

   MapReduce和Hadoop是相互独立的，实际上又能相互配合工作得很好。

Hive : 数据仓库工具

1. 介绍

   Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Hbase : 分布式数据库

1. 介绍

   Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

Pig 数据分析工具

1. 介绍

   Pig是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。

Sqoop 数据导入工具

1. 介绍

   Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

Oozie 工作流引擎服务器

1. 介绍

   Oozie是一个工作流引擎服务器, 用于管理和协调运行在Hadoop平台上（HDFS、Pig和MapReduce）的任务。