Centos6.5 64位Hadoop完全分布安装教程

64位Centos6.5 Hadoop2.2.0 完全分布安装教程

本教程的环境搭建准备：

• 实体机Win7 64位
• putty 或 VNC 或 SSH Secure Shell Client
• Centos 6.5 版本
• Hadoop 2.2.0 版本（编译后64位）
• OpenJdk1.7.0

本教程配置说明

• 目的: 利用两台Linux服务器（实体机）搭建完全分布式hadoop
• 在window上通过putty（或其他）工具连接上Linux服务器，进行配置
• 在每台linux服务器上如无特殊说明，均默认在hadoop用户下操作

• 在hadoop用户下新建下面目录，代码如下

  makdir ~/softwares

目录	用途说明
softwares	用于存放软件安装包
hadoop2.2.0	用于存放Hadoop2.2.0解压目录
dfs	用于存放hadoop的数据目录
tmp	用于存放hadoop的管理目录

* 两台Linux服务器的分布及其配置说明

集群关系	主机名	IP地址	JDK版本	免密SSH
namenode	name	10.10.108.160	OpenJDK.7.0	能
datanode	data2	10.10.108.180	OpenJDK.7.0	能

具体配置可参考： 网络配置 , SSH 配置 , JAVA配置 , 创建用户

特别说明：以下步骤1~10，除了步骤2的hadoop环境变量配置，其余的只在name主机上完成！

1. 解压安装包

将已下载好的hadoop-2.2.0.tar.gz 存放在softwares目录下, 并解压至当前主用户目录下

Apache Hadoop 各个版本的下载地址：http://archive.apache.org/dist/hadoop/common/

mv  hadoop-2.2.0.tar.gz  ~/softwares/
tar  zxvf  ~/ softwares /hadoop-2.2.0.tar.gz   -C  ~/ 

2. 配置Hadoop的环境变量

sudo vim /etc/profile

在末尾加上以下配置,保存退出

export HADOOP_HOME=/home/hadoop/hadoop-2.2.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3. 环境变量生效

sudo source /etc/profile

4. 配置文件说明

配置名称	类型	说明
hadoop-env.sh	Bash脚本	Hadoop运行环境变量设置
core-site.xml	xml	配置Hadoop core，如IO
hdfs-site.xml	xml	配置HDFS守护进程：NameNode、JournalNode、DataNode
yarn-env.sh	Bash脚本	Yarn运行环境变量设置
yarn-site.xml	xml	Yarn框架配置环境
mapred-site.xml	xml	MR属性设置
capacity-scheduler.xml	xml	Yarn调度属性设置
container-executor.cfg	cfg	Yarn Container配置
mapred-queues.xml	xml	MR队列设置
hadoop-metrics.properties	Java属性	Hadoop Metrics配置
hadoop-metrics2.properties	Java属性	Hadoop Metrics配置
slaves	Plain Text	DataNode 节点配置
log4j.properties		系统日志设置
configuration.xsl

5. 修改hadoop-env.sh