Hadoop 伪分布式 环境安装 - hadoop-2.6.0-cdh5.7.0

Hadoop 伪分布式 环境安装

1、集群免密登录

ssh-keygen -t rsa

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

2、修改Java 环境变量

vim /etc/profile

3、下载Hadoop

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

解压 tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /home/hadoop000/app/

4、Hadoop 配置文件修的（/home/hadoop000/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop）

vim hadoop-env.sh

etc/hadoop/core-site.xml

         <property>
           <name>fs.defaultFS</name>
            <value>hdfs://hadoop000:8020</value>
        </property>
         <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop000/app/tmp</value>
         </property>

etc/hadoop/hdfs-site.xml

        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property

vim slaves （针对集群配置文件）

5、启动hdfs

格式化文件系统 （仅仅第一次）：hdfs namenode -format

sbin/start-dfs.sh

验证：jps

6、停止hdfs

sbin/stop-dfs.sh

Yarn 环境安装

1、etc/hadoop/mapred-site.xml

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

etc/hadoop/yarn-site.xml

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property

2、启动

sbin/start-yarn.sh

3、验证

jps

ResourceManager - http://localhost:8088/

4、停止

sbin/stop-yarn.sh