Hadoop集群实践(一)

引用 http://heylinux.com/archives/1980.html

本文内容
Hadoop集群实践 之 (0) 完整架构设计 [Hadoop(HDFS),HBase,Zookeeper,Flume,Hive]

参考资料
CDH3_Installation_Guide_u3.pdf
http://hadoop.apache.org/docs/r0.19.2/cn/cluster_setup.html

在进入新的环境以后，面临一项非常重要的工作“线上的Hadoop集群的运维”，而对于Hadoop我之前仅仅是耳闻，并没有实际的部署和应用过。
因此，在整个学习过程中参阅了很多的资料，经历了从对整个架构的不了解，各种概念的不熟悉到最后成功的在本地搭建好了整个集群并能够成功调用集群来执行并行计算的任务。
可谓受益良多，本着开源分享的精神，我将整个学习的过程整理成一个系列的文档，分享给大家。

这是一个从无到有的过程。

下面进入正文
有一种说法我觉得非常有道理，那就是：“搞什么东西之前，第一步是要知道What（是什么），然后是Why（为什么），最后才是How（怎么做）。如果习惯先How，然后What，最后才是Why，只会让自己变得浮躁，同时往往会将技术误用于不适合的场景。”

因此，首先应该明确的就是：什么是Hadoop？

Hadoop是Apache开源组织的一个分布式计算开源框架，目前在Amazon，Facebook和Yahoo等大型网站上都已经得到了应用。

Hadoop 是Apache 下的一个项目，由HDFS、MapReduce、HBase、Hive 和ZooKeeper
等成员组成。其中，HDFS 和MapReduce 是两个最基础最重要的成员。
HDFS 是Google GFS 的开源版本，一个高度容错的分布式文件系统，它能够提供高吞
吐量的数据访问，适合存储海量（PB 级）的大文件（通常超过64M），其原理如下图所示：

Hadoop框架中最核心的设计就是：MapReduce和HDFS。
MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释就是“任务的分解与结果的汇总”。
分布式计算就好比蚂蚁吃大象，廉价的机器群可以匹敌任何高性能的计算机，纵向扩展始终抵不过横向扩展。
HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。

在实际的应用场景中，Hadoop并非单独出现的，它还有着众多的子项目，而应用最多的子项目就是HBase,Zookeeper,Hive。
另外，Flume也经常在整个Hadoop集群中担任重要的角色。

简单的描述一下这些系统：
HBase - Key/Value的分布式数据库
Zookeeper - 支撑分布式应用的协作系统
Hive - SQL解析引擎
Flume - 分布式的日志收集系统

下面这张图可以更好的阐述它们之间的关系：

在上面的图中，我们通过跟踪整个数据流的逻辑对每个服务器实现的功能和角色进行了描述。
总的说来就是一次通过采集原始Log文件，然后对Log文件进行分析计算，最后将结果进行存储并展现的过程。

需要介绍一点背景的是，因为是在虚拟机上搭建测试环境(条件有限)，因此很多在实际场景中一般都应该分开在不同机器上部署的系统，都部署在了一起。

具体环境如下
OS: Ubuntu 10.10 Server 64-bit //选择Ubuntu是因为Cloudera的Hadoop集群套件对Ubuntu支持的很好
Servers:
hadoop-master:10.6.1.150
- namenode,jobtracker;hbase-master,hbase-thrift;
- secondarynamenode;
- hive-master,hive-metastore;
- zookeeper-server;
- flume-master
- flume-node
- datanode,taskTracker

hadoop-node-1:10.6.1.151
- datanode,taskTracker;hbase-regionServer;
- zookeeper-server;
- flume-node

hadoop-node-2:10.6.1.152
- dataNode,taskTracker;hbase-regionServer;
- zookeeper-server;
- flume-node

以上描述了三台机器各自的角色，通过 “-” 表示的每一行的几个角色都表示一般情况下是一起部署到独立的服务器上的。

下面，就让我们开始整个实战演练过程。