以前安装过Hadoop几个版本的单机版,主要是为了研究Hadoop源代码,现在想更加深入Hadoop整个生态系统,选择安装Hadoop完全分布式,由于目前Hadoop最新版本为2.6,于是选择这个版本安装使用
准备工作:
1、笔记本4G内存 ,操作系统WIN7(纯屌丝配置)
2、工具:VMware Workstation
3、虚拟机:CentOS6.5(64位)共3台,一个master,两个slave,
安装好一个主机master的CentOS系统,
1、系统环境设置(先配置master节点)
1.1 修改主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
NTPSERVERARGS=iburst
1.2 修改主机名和IP的映射关系(hosts)
vim /etc/hosts
添加:192.168.111.131 master
1.3 关闭防火墙
service iptables status //查看防火墙的状态
service iptables stop //关闭防火墙
chkconfig iptables –list //查看防火墙开机启动状态
chkconfig iptables off //关闭防火墙开机启动
1.4 重启系统
reboot
2.安装jdk
1、下载jdk,地址:http://www.Oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
2、上传到虚拟机
3、解压jdk
mkdir opt
tar -zxvf jdk-7u79-linux-x64.tar.gz
4、将java添加到环境变量中
vim /etc/profile
//在文件的最后添加
export JAVA_HOME=/home/master/opt/jdk1.7.0_79
export PATH=
PATH:
JAVA_HOME/bin
source /etc/profile
java -version
- 配置ssh免登录
$ ssh-keygen -t rsa (四个回车)
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ ~/.ssh/authorized_keys //查看rsa
4. 安装hadoop2.6.0
首先将hadoop解压缩到opt文件夹
4.1 配置hadoop
4.1.1 配置hadoop-env.sh
将 JAVA_HOME 修改为刚才配置的位置
export JAVA_HOME=/home/master/opt/jdk1.7.0_79
4.1.2 配置core-site.xml
添加下面的内容:
fs.defaultFS
hdfs://master:9000
hadoop.tmp.dir
/home/master/opt/hadoop-2.6.0/tmp
io.file.buffer.size
4096
4.1.3 配置hdfs-site.xml
添加下面的内容:
dfs.replication
2
dfs.namenode.name.dir
file:///home/master/opt/hadoop-2.6.0/dfs/name
dfs.datanode.data.dir
file:///home/master/opt/hadoop-2.6.0/dfs/data
dfs.nameservices
h1
dfs.namenode.secondary.http-address
master:50090
dfs.webhdfs.enabled
true
4.1.4 配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
添加下面的内容:
mapreduce.framework.name
yarn
true
mapreduce.jobtracker.http.address
master:50030
mapreduce.jobhistory.address
master:10020
mapreduce.jobhistory.webapp.address
master:19888
mapred.job.tracker
http://master:9001
4.1.5 配置yarn-site.xml
添加下面的内容:
yarn.resourcemanager.hostname
master
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.address
master:8032
yarn.resourcemanager.scheduler.address
master:8030
yarn.resourcemanager.resource-tracker.address
master:8031
yarn.resourcemanager.admin.address
master:8033
yarn.resourcemanager.webapp.address
master:8088
4.2 将hadoop添加到环境变量
export HADOOP_HOME=/home/master/opt/hadoop-2.6.0
export PATH=
PATH:
JAVA_HOME/bin:
HADOOPHOME/bin:
HADOOP_HOME/sbin
source /etc/profile
4.3 格式化namenode
hdfs namenode -format
4.4 启动hadoop
先启动HDFS:
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
4.4 验证是否启动成功
jps
2871 ResourceManager
3000 Jps
2554 NameNode
2964 NodeManager
2669 DataNode
至此伪分布式 hadoop 搭建完成!
Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 http://www.linuxidc.com/Linux/2015-02/113487.htm
CentOS安装和配置Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm
Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13