Hadoop部署

Hadoop三种部署模式以及两个重要配置文件

---

Hadoop三种部署模式

部署模式	简介	特点
本地模式	在单台服务器上进行开发和调试。	1. 无运行守护进程（daemon），不使用分布式文件系统（HDFS），而是使用本地计算机的文件系统 2. 所有程序都在本机JVM上执行，不启动NameNode、DataNode、JobTracker和TaskTracker等服务进程，同一进程提供了所有的服务。
伪分布式	在一台主机上模拟多台主机	启动进程：DataNode、NameNode、Secondary NameNode
完全分布式		实际生产环境使用

部署Hadoop集群时需要配置的两个重要文件及其中重要的属性

core-site.xml和hdfs-site.xml文件，重要的属性包括name、value属性

core-site.xml	hadoop.tmp.dir	临时目录位置
	fs.defaultFS	设置默认HDFS端口

<!--core-site.xml-->

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/java/hadoop/hadoop-2.7.1/tmp</value>
        <description>Abaseforothertemporarydirectories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml	dfs.replication	同一数据块的副本数
	dfs.namenode.name.dir	NameNode保存元数据的位置
	dfs.datanode.data.dir	DataNode保存位置

<!--hdfs-site.xml-->

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/usr/local/java/hadoop/hadoop-2.7.1/tmp/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/usr/local/java/hadoop/hadoop-2.7.1/tmp/dfs/data</value>
	</property>
</configuration>