Hadoop 安装及配置(centos系统)

JDK配置

本文操作区别于上一篇的Centos 7 最小系统配置java环境，可自行选择。

1.安装jdk
        a)下载jdk-8u65-linux-x64.tar.gz
        b)解压JDK包（此处是在centos根目录下的downloads文件夹操作，也可自行选择操作目录）

$>su centos ; cd ~
$>mkdir downloads
$>cp /mnt/hdfs/downloads/bigdata/jdk-8u65-linux-x64.tar.gz ~/downlooads
$>tar -xzvf jdk-8u65-linux-x64.tar.gz

        c)创建/soft文件夹（根目录下操作,admin是拥有管理员权限的账户）

$>sudo mkdir /soft
$>sudo chown admin:admin/soft

        d)移动tar开的文件到/soft下

$>mv ~/downloads/jdk-1.8.0_65 /soft/

        e)创建符号连接（方便环境配置，省去长的路径操作）

 $>ln -s /soft/jdk-1.8.0_65 /soft/jdk

       f)验证jdk安装是否成功

$>cd /soft/jdk/bin
$>./java -version

centos配置环境变量

1.编辑/etc/profile

$>sudo nano /etc/profile
...
export JAVA_HOME=/soft/jdk
export PATH=$PATH:$JAVA_HOME/bin

    2.使环境变量即刻生效

 $>source /etc/profile

     3.进入任意目录下,测试是否ok

$>cd ~
$>java -version

安装hadoop

1.安装hadoop
        a)下载hadoop-2.7.3.tar.gz
        b)解压tar文件（操作目录为根目录下的downloads）

$>su centos ; cd ~
$>cp /mnt/hdfs/downloads/bigdata/hadoop-2.7.3.tar.gz ~/downloads
$>tar -xzvf hadoop-2.7.3.tar.gz

        c)无
        d)移动tar开的文件到/soft下            

$>mv ~/downloads/hadoop-2.7.3 /soft/

        e)创建符号连接     

$>ln -s /soft/hadoop-2.7.3 /soft/hadoop

        f)验证hadoop安装是否成功

$>cd /soft/hadoop/bin
$>./hadoop version

        2.配置hadoop环境变量

$>sudo nano /etc/profile
...
export JAVA_HOME=/soft/jdk
exprot PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    3.生效        

$>source /etc/profile

配置hadoop

1.standalone(local)
        nothing !
        不需要启用单独的hadoop进程。
        执行 hdfs dfs -ls / 显示centos文件系统目录
    2.Pseudodistributed mode
        伪分布模式。
        a)进入${HADOOP_HOME}/etc/hadoop目录
        b)编辑core-site.xml            

<configuration>
    <property>
         <name>fs.defaultFS</name>
         <value>hdfs://localhost/</value>
    </property>
</configuration>

        c)编辑hdfs-site.xml     

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

        d)编辑mapred-site.xml            

注意:cp mapred-site.xml.template mapred-site.xml            
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

        e)编辑yarn-site.xml                        

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
     </property>
</configuration>

        f)配置SSH（安全远程连接）
            1)检查是否安装了ssh相关软件包(openssh-server + openssh-clients + openssh)                

$yum list installed | grep ssh

            2)检查是否启动了sshd进程                

$>ps -Af | grep sshd

            3)在client侧生成公私秘钥对。

$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

            4)生成~/.ssh文件夹，里面有id_rsa(私钥) + id_rsa.pub(公钥)

            5)追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)

$>cd ~/.ssh
$>cat id_rsa.pub >> authorized_keys

            6)修改authorized_keys的权限为644.(如果是Ubuntu系统，则不需要修改权限) 

$>chmod 644 authorized_keys

            7)测试

$>ssh localhost

注：nano是等同于vi的编辑器，如果报错-bash: nano: command not found，安装nano即可

       安装语句：yum -y install nano