hadoop2学习笔记（一）-虚拟机环境搭建

1. 下载 VMware-workstation-full-9.0.0-812388.exe 。安装

2. 下载CentOS6.4 安装添加到虚拟机中。

3. 配置虚拟机默认打开为命令行格式，

     使用root用户， vi /etc/inittab 

     修改 id:5:xxxx     5 改为3 ，

   #reboot     

   重启虚拟系统。

4. 设置普通用户可以使用root权限执行，即支持sudo 操作

     root 用户执行  vi /etc/sudoers

     找到  root   ALL=(ALL)   ALL

     在此行下边添加拥有 root权限的用户    复制 上边的行，修改用户名：

       hadoop   ALL=(ALL)     ALL

  保存，退出。

5. 修改主机的显示名称，即将localhost 名称改为指定的名称，使用普通用户执行root权限操作 

使用hadoop 用户执行 sudo vi /etc/sysconfig/network

    修改以下内容
 
      HOSTNAME=server01

按esc 退出编辑模式。 :wq 保存。 这时主机名称还是hostname ，那是因为修改的文本文件需要重启或注销，或重启服务。

    或者执行 sudo hostname server01  

   然后  exit  退出 。此时显示登录主机为server01  

     server01 login:

6.  设置主机名通过域名访问，即主机名称访问主机，而不是ip地址访问。

    使用hadoop 用户执行 sudo vi /etc/hosts

     添加： 192.168.127.66  server01    

     ip地址为当前主机的eth0地址。设置完成后ping server01 就能ping通了。

7. 部署集群需要多个虚拟机，操作步骤为：

   VM ware station  上 My Computer  ---> centOS--> Mange--> Clone ---> 下一步---> 下一步----> Create a full one --- 修改centos名称和路径。

  克隆出来的虚拟主机 网卡默认是eth1 获取其它非eth0 的。 但是主机setup中是没有这块网卡的，网卡名称仍然是eth0 ，那么样将eth1 改为eth0

 需要做如下修改：

     hadoop 用户  cd /etc/udev/rules.d/  

    有如下文件：

   

-rw-r--r--. 1 root root 1652 Nov 12  2010 60-fprint-autosuspend.rules
-rw-r--r--. 1 root root 1060 Nov 11  2010 60-pcmcia.rules
-rw-r--r--. 1 root root  316 Feb 21  2013 60-raw.rules
-rw-r--r--. 1 root root 1342 Mar  5  2014 70-persistent-cd.rules
-rw-r--r--. 1 root root  796 Apr  5 01:18 70-persistent-net.rules
-rw-r--r--. 1 root root  320 Sep 12  2012 90-alsa.rules
-rw-r--r--. 1 root root   83 Jul 19  2011 90-hal.rules
-rw-r--r--. 1 root root 2486 Nov 10  2010 97-bluetooth-serial.rules
-rw-r--r--. 1 root root  292 Feb 21  2013 98-kexec.rules
-rw-r--r--. 1 root root   54 Dec  7  2011 99-fuse.rules

-rw-r--r--. 1 root root  341 Mar  5  2014 99-vmware-scsi-udev.rules

   sudo　vi  70-persistent-net.rules

# This file was automatically generated by the /lib/udev/write_net_rules
# program, run by the persistent-net-generator.rules rules file.
#
# You can modify it, as long as you keep each rule on a single
# line, and change only the value of the NAME= key.


# PCI device 0x1022:0x2000 (pcnet32)
#SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:3c:bf:
e7", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"


# PCI device 0x1022:0x2000 (vmxnet)
#SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:80:ab:
ef", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"  ------------默认这行是没有注释的。请将此行注释


# PCI device 0x1022:0x2000 (vmxnet) (custom name provided by external tool)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:80:ab:e
f", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"   -------------默认这个NAME="eth1" 将这个改为 NAME="eth0"

:wq!  保存。

然后使用命令重启网卡  sudo service network restart

[hadoop@server01 rules.d] sudo service network restart

Shutting down interface eth0:  Device state: 3 (disconnected)
                                                           [  OK  ]
Shutting down loopback interface:                          [  OK  ]
Bringing up loopback interface:                            [  OK  ]
Bringing up interface eth0:  Active connection state: activating
Active connection path: /org/freedesktop/NetworkManager/ActiveConnection/1

[ OK   ]

[hadoop@server01 rules.d]  

  此时 再查看 网卡配置 已经显示的是eth0  这个设备的网卡了。

8. 虚拟机默认的网络连接是dchp ，动态分配的。通过以下步骤指定ip防止每次重启虚拟机ip变化。

   #sudo  setup

          Network configrasion   --回车

         Device network Configratsions -- 回车

         eth0  --配置这块网卡的ip地址。 -- 回车

    

       ----------------------按如下配置指定的ip地址。    静态ip为 vmware 网卡配置中 使用NAT 指定网络配置网关的ip。如网管为：192.168.127.2

                     Name                 eth0________________ │ 
                 │ Device               eth0________________ │ 
                 │ Use DHCP             [ ]                  │ 
                 │ Static IP            192.168.127.66______ │                               -------------------------------与vmware workstation一个网段内的ip
                 │ Netmask              255.255.255.0_______ │        
                 │ Default gateway IP   192.168.127.2_______ │                          ----------------与vmware work station 上的网关配置一致。
                 │ Primary DNS Server   8.8.8.8_____________ │        --------------------google 的默认外网dns解析地址
                 │ Secondary DNS Server 192.168.127.2____                       --------------------网关地址

  以上设置完成后 方向键  选择OK ，----save ----save&quit ------quit。

    重新启动网卡配置：   sudo service  network restart

9.   安装jdk

      使用sourceCRT 工具   客户端上传到虚拟机上。   alt+ p   使用  sftp>

 sftp>  put c:/jdk-7u65-linux-i586.tar.gz

  

    在hadoop  用户下，解压  

   tar -zxvf  jdk-7u65-linux-i586.tar.gz  -C  app/   ----------------------指定解压目录解压文件。

   设置 JAVA_HOME 环境变量 。  

   sudo vi   /etc/profile  设置 全局的 变量 在最后一行下边添加

   export   JAVA_HOME=/home/hadoop/app/jdk1.7.0_65

   export  PATH=$PATH:$JAVA_HOME/bin

 

   :wq  保存。   

 10.   上传hadoop 解压包。

   sftp> put c:/hadoop-2.4.1

   

  tar -zxvf   hadoop-2.4.1.tar.gz  -C app/

    

   总结：    以上步骤共做了以下几种准备

      a.   虚拟机打开后默认打开命令行模式

　  b.    将主机的localhost 显示改成指定名称，如server01 .

      c.    配置hosts 绑定ip和主机名称。

      d.   将虚拟机中的主机ip地址设置为static 模式，避免每次重启虚拟机自动分配改变ip。

      e.   配置 普通用户支持sudo 命令执行root权限

       f.    当在虚拟机中clone 主机时，修改eth0为默认网卡名称。

       g.  通过 sudo  vi /etc/sysconfig/network-scripts/ifcfg-eth0 配置 网卡信息。