hadoop环境搭建实战1

1.安装jdk。（此文暂不介绍，后补）

2.安装hadoop

         在根目录下新建文件夹soft用来存放Hadoop

         建议使用普通用户。

         sudo mkdir /soft     (普通用户无法使用sudo命令请自行搜索)

、     改变文件夹权限

         sudo chown centos:centos /soft  

      （1）下载Hadoop.tar文件  本文使用hadoop-3.1.2.tar.gz

      （2）解压tar文件 tar -xzvf hadoop-3.1.2.tar.gz

      （3）配置Java和hadoop环境变量

               编辑配置文件sudo vi /etc/profile

               export JAVA_HOME=/soft/jdk1.8.0_65
               export PATH=$PATH:$JAVA_HOME/bin
               export HADOOP_HOME=/soft/hadoop-3.1.2
               export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

               使修改后的环境变量生效source /etc/profile

        (4)检查是否安装成功，

             which hadoop

             hadoop version 

3.配置Hadoop

（1）standalone(local)
        nothing !
        不需要启用单独的hadoop进程

（2）Pseudodistributed mode
        伪分布模式。
        a)进入${HADOOP_HOME}/etc/hadoop目录
        b)编辑core-site.xml
            <?xml version="1.0"?>
            <configuration>
                <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://localhost/</value>
                </property>
            </configuration>
        c)编辑hdfs-site.xml
            <?xml version="1.0"?>
            <configuration>
                <property>
                    <name>dfs.replication</name>
                    <value>1</value>
                </property>
            </configuration>
        d)编辑mapred-site.xml
            注意:cp mapred-site.xml.template mapred-site.xml
            <?xml version="1.0"?>
            <configuration>
                <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
                </property>
            </configuration>
        e)编辑yarn-site.xml
            <?xml version="1.0"?>
            <configuration>
                <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>localhost</value>
                </property>
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
            </configuration>

4.配置SSH

（1)检查是否安装了ssh相关软件包(openssh-server + openssh-clients + openssh)

     $yum list installed | grep ssh

 

（2)检查是否启动了sshd进程

     $>ps -Af | grep sshd

（3)在client侧生成公私秘钥对。

     $>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

（4)生成~/.ssh文件夹，里面有id_rsa(私钥) + id_rsa.pub(公钥)

 

（5)追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)

    $>cd ~/.ssh

    $>cat id_rsa.pub >> authorized_keys

（6)修改authorized_keys的权限为644.

    $>chmod 644 authorized_keys

（7)测试

     $>ssh localhost