Hadoop从入门到上手工作视频(1)-搭建hadoop环境

1.宿主机（windwos）与客户机（安装在虚拟机中的linux）网络连接
      1.1 host-only 宿主机与客户机单独组网
      好处：网络隔离
      坏处：虚拟机与其他服务器之间不能通讯
      1.2 bridge 客户机与宿主机在同一个局域网中。
      好处：都在同一个局域网，可以互相访问
      坏处：不安全
-----------------------------------------------
2.hadoop的伪分布安装步骤
     【使用root用户登录，su root的话有些权限没有】
      2.1 设置静态ip
              在centos桌面右上角的图标上，右键修改。
              重启网卡，执行命令service network restart
            验证：执行命令 ifconfig
      2.2 修改主机名
           <1>修改当前会话中的主机名，执行命令hostname hadoop
           <2>修改配置文件中的主机名，执行命令 vi /etc/sysconfig/network
           验证：重启机器
      2.3 把hsotname和ip绑定
      执行命令vi /etc/hosts,增加一行内容，如下 192.168.56.101 hadoop
      保存退出
      验证:ping hadoop
      2.4关闭防火墙
            执行命令 service iptables stop
            验证：service iptables status
      2.5 关闭防火墙的自动运行
             执行命令 chkconfig iptables off
            验证： chkconfig --list |grep iptables
      2.6 SSH(sercure shell)的免密码登陆
            <1>执行命令 ssh-keygen -t  rsa 产生秘钥，位于~/.ssh文件下
            <2>执行命令 cp~/.ssh/id_rsa.pub  ~/.ssh/authorized_keys
            验证： ssh hadoop(主机名)
      2.7 安装JDK
            <1> 执行命令 rm -rf /usr/local/* 删除所用内容
            <2>使用FTP工具把jdk文件从windows复制到 /usr/local目录下
            <3>执行命令 chmod u+x jdk-6u24-linux-i586.bin 赋予执行权限
            <4>执行命令 ./jdk-6u24-linux-i586.bin  解压缩
            <5>执行命令 mv jdk1.6.0_24 jdk 重命名
            <6>执行命令 vi /etc/profile 设置环境变量，增加了2行内容
                        export JAVA_HOME=/usr/local/jdk
                        export PATH=.:$JAVA_HOME/bin:$PATH
                        保存退出
                执行命令 source /etc/profile 让该设置立即生效
        验证：java -version
     2.8 安装hadoop
           <1> 执行命令 tar -zxvf hadoop-1.1.2.tar.gz 进行解压缩
           <2>执行命令 mv hadoop-1.1.2 hadoop 重命名
           <3>执行命令 vi /etc/profile 设置环境变量，
           增加1行内容
                 export HADOOP_HOME=/usr/local/hadoop
           修改了一行内容
                  export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH  
                  保存退出

                  执行命令 source /etc/profile   让该设置立即生效

           vi编辑器 ：  vi 只读，不能写；编辑，能读，也能写；需要执行命令；     按Esc键，然后按shift+: 输入wq保存退出命令

            <4>修改hadoop的配置文件，位于$HADOOP_HOME/conf目录下的配置：
            修改4个配置文件，分别是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
            具体修改内容:
            1.【hadoop-env.sh 修改第9行,内容如下:】
                    export JAVA_HOME=/usr/local/jdk/

            2.【core-site.xml修改内容如下：】
                    <configuration>
                        <property>
                            <name>fs.default.name</name>
                            <value>hdfs://hadoop:9000</value>
                            <description>change your own hostname</description>
                        </property>
                        <property>
                            <name>hadoop.tmp.dir</name>
                            <value>/usr/local/hadoop/tmp</value>
                        </property>  
                    </configuration>
            3.【hdfs-site.xml修改内容如下：】
                        <configuration>
                            <property>
                                <name>dfs.replication</name>
                                <value>1</value>
                            </property>
                            <property>
                                <name>dfs.permissions</name>
                                <value>false</value>
                            </property>
                        </configuration>

            4.【mapred-site.xml修改内容如下：】
                        <configuration>
                            <property>
                                <name>mapred.job.tracker</name>
                                <value>hadoop:9001</value>
                                <description>change your own hostname</description>
                            </property>
                        </configuration>
            <5>执行命令 hadoop namenode -format  对hadoop进行格式化
            <6>执行命令 start-all.sh启动
            验证：(1)执行命令jps,发现5个java进程，分别是NameNode、DataNode、SecondayNameNode、jbtracker、tasktracker
                  (2)通过浏览器 http://hadoop:50070 和http://hadoop:50030
                    ******可以修改 windows的C:\Windows\System32\drivers\etc\hosts文件*****
                    修改内容 192.168.56.101 hadoop
            2.9 NameNode进程没有启动成功?
                  (1)没有格式化
                  (2)配置文件只copy,不修改
                  (3)hostname与ip没有绑定
                  (4)SSH的免密码登陆没有配置成功
            3.0 多次格式化hadoop也是错误的?
                方法：删除/usr/local/hadoop/tmp文件夹，重新格式化
                
            3.1 去除hadoop的启动过程中警告信息
            查看more start-all.sh文件 发现执行的是 hadoop-config.sh
            再查看more hadoop-config.sh 发相警告语句
            给$HADOOP_HOME_WARN_SUPPRESS设置任意值
            vi /etc/profile
            添加 export HADOOP_HOME_WARN_SUPPRESS=1
            保存退出
            执行命令 source /etc/profile   让该设置立即生效
            验证:启动 start-all.sh