hodoop安装步骤

1.Hadoop 下载地址

http://mirror.bit.edu.cn/apache/hadoop/common/

建立hadoop运行帐号即为hadoop

2.集群专门设置一个用户组及用户，这部分比较简单，参考示例如下：

$ useradd hadoop

$ groupadd -G hadoop    hadoop在所有的机器上都建立相同的组（hadoop）和用户（hadoop）。(最好不要使用root安装,因为不推荐各个机器之间使用root访问 )

sudo groupadd hadoop    //设置hadoop

 上述4个结点均需要进行以上步骤来完成hadoop运行帐号的建立。 

3.把本机上的软件上传到其中的一台服务器上,用crt客户端的sftp可以上传

sftp> pwd

/home/centos

sftp> lcd soft/

sftp> lpwd

/home/h/soft

sftp> put /home/h/soft/hadoop-2.7.2.tar.gz /home/centos

Uploading hadoop-2.7.2.tar.gz to /home/centos/hadoop-2.7.2.tar.gz

  100% 207076KB   3286KB/s 00:01:03     

/home/h/soft/hadoop-2.7.2.tar.gz: 212046774 bytes transferred in 63 seconds (3286 KB/s)

sftp> 

4.把上传上来的软件分别在拷贝到其他服务器上

[centos@slavenode1 ~]$ sudo -s

[root@masternode centos]# ls

hadoop-2.7.2.tar.gz  jdk-7u79-linux-x64.tar.gz

[root@masternode centos]# pwd

/home/centos

[root@masternode centos]# scp /home/centos/* root@10.10.1.4:/opt/hadoop/

hadoop-2.7.2.tar.gz                                                                            100%  202MB 101.1MB/s   00:02    

jdk-7u79-linux-x64.tar.gz                                                                      100%  146MB  73.2MB/s   00:02    

[root@masternode centos]# scp /home/centos/* root@10.10.1.5:/opt/hadoop/

hadoop-2.7.2.tar.gz                                                                            100%  202MB 202.2MB/s   00:01    

jdk-7u79-linux-x64.tar.gz                                                                      100%  146MB 146.4MB/s   00:01    

[root@masternode centos]# scp /home/centos/* root@10.10.1.6:/opt/hadoop/

hadoop-2.7.2.tar.gz                                                                            100%  202MB 202.2MB/s   00:01    

jdk-7u79-linux-x64.tar.gz   

5.hadoop 机器部署

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任 务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。

6.我的环境是在云主机中配置的，Hadoop集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通，节点IP地址分布如下：

 

虚拟机系统	机器名称	IP地址
CentOS release 6.6 (Final)	masternode.novalocal	10.10.10.4（125.208.30.88）
CentOS release 6.6 (Final)	Slavenode1.novalocal	10.10.10.3（125.208.30.89）
CentOS release 6.6 (Final)	Slavenode2.novalocal</