第一步:安装linux虚拟机 VNware自定义
#vi /etc/sysconfig/network文件,设置主机名
例如:HOSTNAME=hadoopMaster
#vi /etc/hosts(vi编辑 .i进入编辑模式,esc退出编辑模式进入命令模式 :wq保存退出),配置hosts文件,映射主机和IP之间的关系
例如 192.168.194.130 hadoopMaster
虚拟机没有IP地址或者linux yum安装出现 Couldn't resolve host 'mirrorlist.centos.org'
解决:重启etho网络适配器,命令
#ifdown eth0
#ifup eth0
etho不随机自动启动,没有ip
问题:
默认情况下ifconfig命令只能看到网络设备lo,看不到eth0,也没有分配合理的IP地址
分析:
使用ifconfig -a能看到eth0和lo,说明系统中还是存在eth0的,只是没有被激活
解决:
vi /etc/sysconfig/network-scripts/ifcfg-eth0
将ONBOOT=yes
保存ifcfg-eth0配置文件
执行service network reload
执行ifconfig确认问题是否已经解决
第一次使用rpm安装 rpm -ivh jdk-7u71-linux-i586.rpm
失败,应该是这个jdk是32位的,回去试试rpm安装64位,确定是这个原因,rpm成功安装64位
删除rpm 安装的jdk
#rpm -qa|grep jdk {查找已有的jdk(#rpm -qa | grep gcj)删除是一样的}
显示:jdk-1.6.0_13-fcs
卸载:
#rpm -e --nodeps jdk-1.6.0_13-fcs
第二次使用tar.gz解压安装,成功
解压
# tar -zxvf jdk-7u79-linux-x64.tar.gz
设置环境变量
# vi /etc/profile
在profile中添加如下内容:
JAVA_HOME=/usr/java/jdk1.7.0_79
JRE_HOME=/usr/java/jdk1.7.0_79/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
让修改立即生效:
# source /etc/profile
验证JDK有效性
# java -version(直接输入java也可以)
java version "1.7.0_79"
主节点:
在root用户下输入命令: #yum install openssh-server,完成sshserver的安装;
#ssh-keygen -t rsa 生成公私钥文件
#cd /root/.ssh 进入该目录;
#cp id_rsa.pub authorized_keys 将公钥文件内容复制到认证文件(authorized_keys)中;
#ssh localhost 完成无密码登录
从节点:
在root用户下输入命令: #yum install openssh-server,完成sshserver的安装;
#ssh-keygen -t rsa 生成公私钥文件
最后在主节点上scp文件到所有从节点:
# scp ~/.ssh/authorized_keys root@从节点主机名:~/.ssh/
测试:主节点中使用命令 #ssh 子节点主机名 无密码成功登录即成功
防火墙
临时关闭防火墙,即时生效,重启后复原
开启: #service iptables start
关闭: #service iptables stop
查看防火墙状态: #service iptables status
在主节点完整前12,13在从节点完成
1、将hadoop-2.6.1.tar.gz文件复制到/usr/java目录下;
2、使用命令tar -zxvf hadoop-2.6.1.tar.gz ,解压到当前文件夹;
3、使用命令 vi /etc/profile ,修改该文件,配置hadoop的环境变量;
4、使用命令source /etc/profile,使修改马上生效;
5、使用命令vi /usr/java/hadoop-2.6.1/etc/hadoop/hadoop-env.sh,修改javahome
6、使用命令vi /usr/java/hadoop-2.6.1/etc/hadoop/core-site.xml,增加临时目录和hdfs地址及端口;
7、使用命令vi /usr/java/hadoop-2.6.1/etc/hadoop/hdfs-site.xml,增加备份数量配置;
8、使用命令cp mapred-site.xml.template mapred-site.xml,复制一份。并使用命令编辑 vi mapred-site.xml;
9、使用命令 vi slaves ,配置从节点主机;
10、使用命令 vi yarn-site.xml ,配置yarn选项;
12、分别使用命令scp -r /usr/java/hadoop-2.6.1 root@hadoopSlave1:/usr/java/,把hadoop安装包复制到3个从节点;
13.使用命令 vi /etc/profile ,修改该文件,配置hadoop的环境变量;使用命令source /etc/profile,使修改马上生效;
# hadoop namenode -format,格式化hdfs;
# /usr/java/hadoop-2.6.1/sbin/start-all.sh,启动hadoop;
# jps 查看主节点的进程:
# jps 查看从节点的进程:
浏览器测试是否成功运行http://主节点IP地址:8088 访问yarn http://主节点IP地址:50070 访问HDFS
# /usr/java/hadoop-2.6.1/sbin/stop-all.sh,停止hadoop;
以上