搭建hadoop

第一步：安装linux虚拟机 VNware自定义

第二步：配置主机名和映射主机名和IP之间的关系
  #vi /etc/sysconfig/network文件，设置主机名
  例如：HOSTNAME=hadoopMaster
  #vi /etc/hosts(vi编辑 .i进入编辑模式，esc退出编辑模式进入命令模式 ：wq保存退出),配置hosts文件，映射主机和IP之间的关系
  例如 192.168.194.130 hadoopMaster
  虚拟机没有IP地址或者linux yum安装出现 Couldn't resolve host  'mirrorlist.centos.org'
  解决：重启etho网络适配器，命令
  #ifdown eth0
  #ifup eth0
  etho不随机自动启动，没有ip
  问题：
  默认情况下ifconfig命令只能看到网络设备lo，看不到eth0，也没有分配合理的IP地址
  分析：
  使用ifconfig -a能看到eth0和lo，说明系统中还是存在eth0的，只是没有被激活
  解决：
  vi /etc/sysconfig/network-scripts/ifcfg-eth0
  将ONBOOT=yes
  保存ifcfg-eth0配置文件
  执行service network reload

  执行ifconfig确认问题是否已经解决

第三步：linux安装jdk
  第一次使用rpm安装  rpm -ivh jdk-7u71-linux-i586.rpm
  失败，应该是这个jdk是32位的，回去试试rpm安装64位，确定是这个原因，rpm成功安装64位
  删除rpm 安装的jdk
  #rpm -qa|grep jdk {查找已有的jdk（#rpm -qa | grep gcj）删除是一样的}
  显示：jdk-1.6.0_13-fcs
  卸载：
  #rpm -e  --nodeps  jdk-1.6.0_13-fcs
  第二次使用tar.gz解压安装，成功
  解压
  # tar -zxvf jdk-7u79-linux-x64.tar.gz
  设置环境变量
  # vi /etc/profile
  在profile中添加如下内容:
  JAVA_HOME=/usr/java/jdk1.7.0_79
  JRE_HOME=/usr/java/jdk1.7.0_79/jre
  CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
  PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
  export JAVA_HOME JRE_HOME CLASS_PATH PATH
  让修改立即生效:
  # source /etc/profile
  验证JDK有效性
  # java -version（直接输入java也可以）

  java version "1.7.0_79"

第四步：设置SSH免密码登录模式
  主节点：
  在root用户下输入命令： #yum install openssh-server，完成sshserver的安装；
  #ssh-keygen -t rsa 生成公私钥文件
  #cd /root/.ssh 进入该目录；
  #cp id_rsa.pub authorized_keys 将公钥文件内容复制到认证文件（authorized_keys）中；
  #ssh localhost 完成无密码登录
  从节点：
  在root用户下输入命令： #yum install openssh-server，完成sshserver的安装；
  #ssh-keygen -t rsa 生成公私钥文件
  最后在主节点上scp文件到所有从节点：
  # scp ~/.ssh/authorized_keys root@从节点主机名:~/.ssh/
  测试：主节点中使用命令 #ssh 子节点主机名   无密码成功登录即成功
防火墙
  临时关闭防火墙，即时生效，重启后复原
  开启： #service iptables start
  关闭： #service iptables stop

  查看防火墙状态： #service iptables status 

第五步：安装hadoop
  在主节点完整前12,13在从节点完成
  1、将hadoop-2.6.1.tar.gz文件复制到/usr/java目录下；
  2、使用命令tar -zxvf hadoop-2.6.1.tar.gz ,解压到当前文件夹；
  3、使用命令 vi /etc/profile ，修改该文件，配置hadoop的环境变量；
  4、使用命令source /etc/profile，使修改马上生效；
  5、使用命令vi /usr/java/hadoop-2.6.1/etc/hadoop/hadoop-env.sh，修改javahome
  6、使用命令vi /usr/java/hadoop-2.6.1/etc/hadoop/core-site.xml，增加临时目录和hdfs地址及端口；
  7、使用命令vi /usr/java/hadoop-2.6.1/etc/hadoop/hdfs-site.xml，增加备份数量配置；
  8、使用命令cp mapred-site.xml.template mapred-site.xml，复制一份。并使用命令编辑 vi mapred-site.xml；
  9、使用命令 vi slaves ，配置从节点主机；
  10、使用命令 vi yarn-site.xml ，配置yarn选项；
  12、分别使用命令scp -r /usr/java/hadoop-2.6.1 root@hadoopSlave1:/usr/java/，把hadoop安装包复制到3个从节点；

  13.使用命令 vi /etc/profile ，修改该文件，配置hadoop的环境变量；使用命令source /etc/profile，使修改马上生效；

第六步：启动hadoop
  # hadoop namenode -format，格式化hdfs；
  # /usr/java/hadoop-2.6.1/sbin/start-all.sh，启动hadoop；
  # jps 查看主节点的进程：
  # jps 查看从节点的进程：
  浏览器测试是否成功运行http://主节点IP地址:8088 访问yarn  http://主节点IP地址:50070 访问HDFS

  # /usr/java/hadoop-2.6.1/sbin/stop-all.sh，停止hadoop；

以上