多机版生产环境搭建(HDFS+yarn)
1.准备四台linux主机
2.配置每台虚拟机网卡eth0
[root@100 /]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
HWADDR=00:0C:29:7D:83:D6
TYPE=Ethernet
UUID=7cdb9398-f9ef-46f0-b29a-ad2e372a71ec
ONBOOT=yes
NM_CONTROLLED=none
BOOTPROTO=none
IPADDR=192.168.17.100
NETMASK=255.255.255.0
3.修改/etc/hosts文件并修改主机名
[root@100 /]# vim /etc/hosts
192.168.17.100 NameNode1
192.168.17.101 NameNode2
192.168.17.102 DataNode1
192.168.17.103 DataNode2
[root@100 /]# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=NameNode1
4.关闭防火墙
service iptables stop
chkconfig iptables off
5.关闭selinux
[root@100 桌面]# cat /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
# targeted - Targeted processes are protected,
# mls - Multi Level Security protection.
SELINUXTYPE=targeted
6.配置java环境
首先下载tar包
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
检查并卸载OpenJDK
第一步检查系统是否自带了OpenJDK以及相关安装包,如果有的话则应先将其卸载。
检查命令:
java -version
rpm -qa | grep java
如果发现有安装好的OpenJDK以及安装包的话那么首先依次执行卸载。
卸载命令:eduler
rpm -e – -nodeps tzdata-java-2012c-1.el6.noarch
rpm -e – -nodeps java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.x86_64
直接复制上面的命令到xshell会出错,务必注意–nodeps前的两个横杠,注意自行修改。
解压安装
将安装文件上传到linux服务器后,进入到该目录执行解压安装:
tar -zxvf jdk-7u75-linux-x64.tar.gz
解压完成后创建一个新的java目录并将刚刚解压的jdk目录移动到我们创建的目录:
mkdir /java
mv ./jdk1.7.0_75 /java/
最后再删除安装文件:
rm -rf jdk-7u75-linux-x64.gz
安装完成后需要配置一下环境变量,编辑/etc/profile文件:
vi /etc/profile
在文件尾部添加如下配置:
export JAVA_HOME=/java/jdk1.7.0_75
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
编辑完成后记得输入:wq保存退出。
通过source命令重新加载/etc/profile文件,使得修改后的内容在当前shell窗口有效:
source /etc/profile
测试
输入java -version查看一下jdk版本信息:
注意事项:hadoop2.6版本用1.6的jkd,而Hadoop2.7则需要1.7以上版本,在安装java前先确定hadoop版本号
7.配置四台机器免密码登录
ssh-keygen -t rsa -P “”
建立.ssh/authorized_keys
8.修改配置文件
vim core-site.xml
vim hdfs-site.xml
vim yarn-site.xml
vim mapred-site.xml
vim slave
vim hadoop-env.sh
vim fairscheduler.xml
9启动Hadoop集群:
Step1 :
在各个JournalNode节点上,输入以下命令启动journalnode服务:
sbin/hadoop-daemon.sh start journalnode
Step2:
在[nn1]上,对其进行格式化,并启动:
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
Step3:
在[nn2]上,同步nn1的元数据信息:
bin/hdfs namenode -bootstrapStandby
Step4:
启动[nn2]:
sbin/hadoop-daemon.sh start namenode
经过以上四步操作,nn1和nn2均处理standby状态
Step5:
将[nn1]切换为Active
bin/hdfs haadmin -transitionToActive nn1
Step6:
在[nn1]上,启动所有datanode
sbin/hadoop-daemons.sh start datanode
10关闭Hadoop集群:
在[nn1]上,输入以下命令
sbin/stop-dfs.sh
1.准备四台linux主机
2.配置每台虚拟机网卡eth0
[root@100 /]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
HWADDR=00:0C:29:7D:83:D6
TYPE=Ethernet
UUID=7cdb9398-f9ef-46f0-b29a-ad2e372a71ec
ONBOOT=yes
NM_CONTROLLED=none
BOOTPROTO=none
IPADDR=192.168.17.100
NETMASK=255.255.255.0
3.修改/etc/hosts文件并修改主机名
[root@100 /]# vim /etc/hosts
192.168.17.100 NameNode1
192.168.17.101 NameNode2
192.168.17.102 DataNode1
192.168.17.103 DataNode2
[root@100 /]# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=NameNode1
4.关闭防火墙
service iptables stop
chkconfig iptables off
5.关闭selinux
[root@100 桌面]# cat /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
# targeted - Targeted processes are protected,
# mls - Multi Level Security protection.
SELINUXTYPE=targeted
6.配置java环境
首先下载tar包
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
检查并卸载OpenJDK
第一步检查系统是否自带了OpenJDK以及相关安装包,如果有的话则应先将其卸载。
检查命令:
java -version
rpm -qa | grep java
如果发现有安装好的OpenJDK以及安装包的话那么首先依次执行卸载。
卸载命令:eduler
rpm -e – -nodeps tzdata-java-2012c-1.el6.noarch
rpm -e – -nodeps java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.x86_64
直接复制上面的命令到xshell会出错,务必注意–nodeps前的两个横杠,注意自行修改。
解压安装
将安装文件上传到linux服务器后,进入到该目录执行解压安装:
tar -zxvf jdk-7u75-linux-x64.tar.gz
解压完成后创建一个新的java目录并将刚刚解压的jdk目录移动到我们创建的目录:
mkdir /java
mv ./jdk1.7.0_75 /java/
最后再删除安装文件:
rm -rf jdk-7u75-linux-x64.gz
安装完成后需要配置一下环境变量,编辑/etc/profile文件:
vi /etc/profile
在文件尾部添加如下配置:
export JAVA_HOME=/java/jdk1.7.0_75
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
编辑完成后记得输入:wq保存退出。
通过source命令重新加载/etc/profile文件,使得修改后的内容在当前shell窗口有效:
source /etc/profile
测试
输入java -version查看一下jdk版本信息:
注意事项:hadoop2.6版本用1.6的jkd,而Hadoop2.7则需要1.7以上版本,在安装java前先确定hadoop版本号
7.配置四台机器免密码登录
ssh-keygen -t rsa -P “”
建立.ssh/authorized_keys
8.修改配置文件
vim core-site.xml
vim hdfs-site.xml
vim yarn-site.xml
vim mapred-site.xml
vim slave
vim hadoop-env.sh
vim fairscheduler.xml
9启动Hadoop集群:
Step1 :
在各个JournalNode节点上,输入以下命令启动journalnode服务:
sbin/hadoop-daemon.sh start journalnode
Step2:
在[nn1]上,对其进行格式化,并启动:
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
Step3:
在[nn2]上,同步nn1的元数据信息:
bin/hdfs namenode -bootstrapStandby
Step4:
启动[nn2]:
sbin/hadoop-daemon.sh start namenode
经过以上四步操作,nn1和nn2均处理standby状态
Step5:
将[nn1]切换为Active
bin/hdfs haadmin -transitionToActive nn1
Step6:
在[nn1]上,启动所有datanode
sbin/hadoop-daemons.sh start datanode
10关闭Hadoop集群:
在[nn1]上,输入以下命令
sbin/stop-dfs.sh