Hadoop2.6集群环境搭建（伪分布式）

以前安装过Hadoop几个版本的单机版，主要是为了研究Hadoop源代码，现在想更加深入Hadoop整个生态系统，选择安装Hadoop完全分布式，由于目前Hadoop最新版本为2.6，于是选择这个版本安装使用

准备工作：

1、笔记本4G内存 ，操作系统WIN7（纯屌丝配置）

2、工具：VMware Workstation

3、虚拟机：CentOS6.5（64位）共3台，一个master，两个slave，

安装好一个主机master的CentOS系统，
1、系统环境设置（先配置master节点）

1.1 修改主机名

vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=master
NTPSERVERARGS=iburst

1.2 修改主机名和IP的映射关系（hosts）

vim /etc/hosts

添加：192.168.111.131 master

1.3 关闭防火墙

service iptables status //查看防火墙的状态

service iptables stop //关闭防火墙

chkconfig iptables –list //查看防火墙开机启动状态

chkconfig iptables off //关闭防火墙开机启动

1.4 重启系统

reboot

2.安装jdk

1、下载jdk，地址：http://www.Oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

2、上传到虚拟机

3、解压jdk

mkdir opt

tar -zxvf jdk-7u79-linux-x64.tar.gz

4、将java添加到环境变量中

vim /etc/profile

//在文件的最后添加

export JAVA_HOME=/home/master/opt/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

java -version

1. 配置ssh免登录

$ ssh-keygen -t rsa (四个回车)

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ ~/.ssh/authorized_keys //查看rsa
4. 安装hadoop2.6.0

首先将hadoop解压缩到opt文件夹

4.1 配置hadoop

4.1.1 配置hadoop-env.sh

将 JAVA_HOME 修改为刚才配置的位置
export JAVA_HOME=/home/master/opt/jdk1.7.0_79

4.1.2 配置core-site.xml

添加下面的内容:

fs.defaultFS
hdfs://master:9000


hadoop.tmp.dir
/home/master/opt/hadoop-2.6.0/tmp


io.file.buffer.size
4096

4.1.3 配置hdfs-site.xml

添加下面的内容:

dfs.replication
2


dfs.namenode.name.dir
file:///home/master/opt/hadoop-2.6.0/dfs/name


dfs.datanode.data.dir
file:///home/master/opt/hadoop-2.6.0/dfs/data


dfs.nameservices
h1

dfs.namenode.secondary.http-address
master:50090


dfs.webhdfs.enabled
true

4.1.4 配置mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

添加下面的内容:

mapreduce.framework.name
yarn
true


mapreduce.jobtracker.http.address
master:50030


mapreduce.jobhistory.address
master:10020


mapreduce.jobhistory.webapp.address
master:19888


mapred.job.tracker
http://master:9001

4.1.5 配置yarn-site.xml

添加下面的内容:

yarn.resourcemanager.hostname
master


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.resourcemanager.address
master:8032


yarn.resourcemanager.scheduler.address
master:8030


yarn.resourcemanager.resource-tracker.address
master:8031


yarn.resourcemanager.admin.address
master:8033


yarn.resourcemanager.webapp.address
master:8088

4.2 将hadoop添加到环境变量

export HADOOP_HOME=/home/master/opt/hadoop-2.6.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

4.3 格式化namenode

hdfs namenode -format

4.4 启动hadoop

先启动HDFS：

sbin/start-dfs.sh

再启动YARN

sbin/start-yarn.sh

4.4 验证是否启动成功

jps

2871 ResourceManager
3000 Jps
2554 NameNode
2964 NodeManager
2669 DataNode

至此伪分布式 hadoop 搭建完成！

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS安装和配置Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式） http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13