http://mirror.bit.edu.cn/apache/hadoop/common/
建立hadoop运行帐号即为hadoop
2.集群专门设置一个用户组及用户,这部分比较简单,参考示例如下:
$ useradd hadoop
$ groupadd -G hadoop hadoop在所有的机器上都建立相同的组(hadoop)和用户(hadoop)。(最好不要使用root安装,因为不推荐各个机器之间使用root访问 )
sudo groupadd hadoop //设置hadoop
上述4个结点均需要进行以上步骤来完成hadoop运行帐号的建立。
3.把本机上的软件上传到其中的一台服务器上,用crt客户端的sftp可以上传sftp> pwd
/home/centos
sftp> lcd soft/
sftp> lpwd
/home/h/soft
sftp> put /home/h/soft/hadoop-2.7.2.tar.gz /home/centos
Uploading hadoop-2.7.2.tar.gz to /home/centos/hadoop-2.7.2.tar.gz
100% 207076KB 3286KB/s 00:01:03
/home/h/soft/hadoop-2.7.2.tar.gz: 212046774 bytes transferred in 63 seconds (3286 KB/s)
sftp>
4.把上传上来的软件分别在拷贝到其他服务器上
[centos@slavenode1 ~]$ sudo -s
[root@masternode centos]# ls
hadoop-2.7.2.tar.gz jdk-7u79-linux-x64.tar.gz
[root@masternode centos]# pwd
/home/centos
[root@masternode centos]# scp /home/centos/* root@10.10.1.4:/opt/hadoop/
hadoop-2.7.2.tar.gz 100% 202MB 101.1MB/s 00:02
jdk-7u79-linux-x64.tar.gz 100% 146MB 73.2MB/s 00:02
[root@masternode centos]# scp /home/centos/* root@10.10.1.5:/opt/hadoop/
hadoop-2.7.2.tar.gz 100% 202MB 202.2MB/s 00:01
jdk-7u79-linux-x64.tar.gz 100% 146MB 146.4MB/s 00:01
[root@masternode centos]# scp /home/centos/* root@10.10.1.6:/opt/hadoop/
hadoop-2.7.2.tar.gz 100% 202MB 202.2MB/s 00:01
jdk-7u79-linux-x64.tar.gz
5.hadoop 机器部署
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。
对于Hadoop的集群来讲,可以分成两大类角色:Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任 务,这些任务分布在不同的从节点上。主节点监控它们的执行情况,并且重新执行之前的失败任务;从节点仅负责由主节点指派的任务。当一个Job被提交时,JobTracker接收到提交作业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控TaskTracker的执行。
从上面的介绍可以看出,HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持,MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作,并收集结果,二者相互作用,完成了Hadoop分布式集群的主要任务。
6.我的环境是在云主机中配置的,Hadoop集群中包括4个节点:1个Master,3个Salve,节点之间局域网连接,可以相互ping通,节点IP地址分布如下:
虚拟机系统 |
机器名称 |
IP地址 |
CentOS release 6.6 (Final) |
masternode.novalocal |
10.10.10.4(125.208.30.88) |
CentOS release 6.6 (Final) |
Slavenode1.novalocal |
10.10.10.3(125.208.30.89) |
CentOS release 6.6 (Final) |
Slavenode2.novalocal</ |