hadoop集群的安装与配置

hadoop系统安装的三种模式：单机模式，单机伪分布式模式，集群分布式模式

说明hadoop01是主机名称，可以通过hostmane查看
--------------伪分布式及集群的安装与配置-------------------
上传hadoop
安装伪分布式：$ tar zxvf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/modules/
配置Yarn

在hadoop目录下创建一个存放数据的data目录

到hadoop的目录下去依次修改下列文件cd /opt/modules/hadoop/etc/hadoop

依次修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml以及slaves文件

(其中mapred-site.xml文件没有要：cp mapred-site.xml.template mapred-site.xml)
配置hadoop-env.sh和yarn-env.sh和mapred-env.sh的java环境变量
修改data/hadoop-2.7.1/etc/hadoop/slaves

用普通用户去格式化文件系统(只能格式化一次)
bin/hdfs namenode -format
启动
启动nomenode和datanode然后测试http://hadoop01:50070
上传文件测试：
创建目录：在hadoop目录下:bin/hdfs dfs -mkdir /input
存储文件：bin/hdfs dfs -put 文件所在目录 上传目录
查看文件：bin/hdfs dfs -cat 文件所在目录 上传目录
在hadoop目录下启动nodemanager和resourcemanager：
    sbin/yarn-daemon.sh start resourcemanager

-----------core-site.xml配置----------------

<!--HDFS集群访问入口地址-->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://192.168.73.137:8020</value>
        <description>192.168.1.100为服务器IP地址，其实也可以使用主机名</description>
        </property>
    <!--声明存放数据的目录-->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/modules/hadoop-2.5.0-cdh5.3.6/data</value>
        </property>

-------------------hdfs-site.xml配置----------------------

<!--Block的副本数-->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>

-----------------------------mapred-site.xml------------------------------

<property>
            <name>mapreduce.jobhistory.address</name>
            <value>192.168.73.137:10020</value>
        </property>
    <!--客户端访问入口-->
    <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>192.168.73.137:19888</value>
        </property>

-------------------------------yarn-site.xml-------------------------------

<properties>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</properties>
    <properties>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
</properties>
<!--启用日志聚合功能-->
    <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
    </property>
    <!--日志保存时间-->
    <property>
            <name>yarn.log-aggregation.retain-seconds</name>
            <value>86400</value>
        </property>

转载于:https://my.oschina.net/u/3452107/blog/1797377