Hadoop 运行模式的设置

 Hadoop的配置文件主要有 4 个，存在于

$HADOOP_HOME/etc/hadoop：

• core-site.xml：用于配置通用属性。
• hdfs-site.xml : 用于配置hdfs属性。
• mapred-site.xml:用于配置mapreduce属性。
• yarn-site.xml：用于配置yarn的属性。

配置表：

Component	Property	Standalone	Pseudodistributed	Fully distributed
Common	fs.defaultFS	(default) file:///	hdfs://localhost/	hdfs://namenode/
HDFS	dfs.replication	N/A	1	3(default)
MapReduce	mapreduce.framework.name	lcoal(default)	yarn	yarn
Yarn	yarn.resourcemanager.hostname yarn.nodemanager.aux-services	N/A N/A	localhost mapreduce_shuffle	resourcemanager mapreduce_shuffle

其中：fs.defaultFS 是用来设置默认的文件系统的。

 几种模式如下

1、伪分布式

• core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost/</value>
    </property>
</configuration>

• hdfs-site.xml

<?xml version="1.0"?>
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

• mapred-site.xml

<?xml version="1.0"?>
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

• yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

 2、完全分布式

 3、本地模式

默认是本地模式

配置完hadoop 运行模式之后要启动HDFS、YARN 和 MapReduce 守护进程。

% start-dfs.sh
% start-yarn.sh
% mr-jobhistory-daemon.sh start historyserver