Hadoop三种部署模式以及两个重要配置文件
Hadoop三种部署模式
部署模式 | 简介 | 特点 |
---|---|---|
本地模式 | 在单台服务器上进行开发和调试。 | 1. 无运行守护进程(daemon),不使用分布式文件系统(HDFS),而是使用本地计算机的文件系统 2. 所有程序都在本机JVM上执行,不启动NameNode、DataNode、JobTracker和TaskTracker等服务进程,同一进程提供了所有的服务。 |
伪分布式 | 在一台主机上模拟多台主机 | 启动进程:DataNode、NameNode、Secondary NameNode |
完全分布式 | 实际生产环境使用 |
部署Hadoop集群时需要配置的两个重要文件及其中重要的属性
core-site.xml和hdfs-site.xml文件,重要的属性包括name、value属性
core-site.xml | hadoop.tmp.dir | 临时目录位置 |
---|---|---|
fs.defaultFS | 设置默认HDFS端口 |
<!--core-site.xml-->
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/java/hadoop/hadoop-2.7.1/tmp</value>
<description>Abaseforothertemporarydirectories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml | dfs.replication | 同一数据块的副本数 |
---|---|---|
dfs.namenode.name.dir | NameNode保存元数据的位置 | |
dfs.datanode.data.dir | DataNode保存位置 |
<!--hdfs-site.xml-->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/java/hadoop/hadoop-2.7.1/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/java/hadoop/hadoop-2.7.1/tmp/dfs/data</value>
</property>
</configuration>