hadoop的伪分布式安装

hadoop安装部署的三种模式：
	单机模式(本地模式)：hadoop的默认配置模式，此时：
		1)hadoop使用本地文件系统而非分布式文件系统(HDFS)。
		2)不会启动任何hadoop守护进程，map任务和reduce任务作为同一个进程的不同部分来执行。
		3)仅用于开发或调试MapReduce应用程序。
		4)当首次解压hadoop的源码包时，默认选择了最低的配置。这时，三个xml文件均为空，当配置文件为空时，hadoop会完全运行在本地。

	伪分布式模式：
		1)所有的进程都运行在同一台机器上。
		2)使用分布式文件系统，每个hadoop守护进程都是一个独立的进程。
		3)每个job都是由JobTracker服务管理的独立的进程。
		4)集群中只有一个节点，故HDFS的块复制将限制为单个副本。
		5)secondary-master和slaves也都将运行于本地主机。
		6)程序的执行逻辑和分布式模式下的执行逻辑一样，因此，常用于测试。
		7)该模式在本地模式的基础上添加了代码的调试功能，允许你检查内存的使用情况、HDFS输入输出、其它的守护进程的交互。
		8)伪分布式模式也需要配置SSH无密码本机连接本机
	
	分布式模式：运行于多台机器上的真实环境。

	
hadoop的安装步骤：
	1)添加新用户
		添加新用户(hadoop)：
			useradd hadoop
		修改用户的密码：
			passwd hadoop
			
	2)配置静态IP地址和修改主机名
	
		说明：由于hadoop集群在启动时需要通过固定的主机名或ip地址启动，故必须对虚拟机配置静态ip地址。
		
	3)配置SSH免密码连接

		说明：hadoop仅仅是在启动和停止的时候需要主节点通过SSH协议将从节点上面的进程启动或停止。
		
	4)安装JDK

	5)配置hadoop
	
	伪分布式模式：
		
		# 1.下载
		将安装包hadoop-2.2.0.tar.gz放到/data/software/hadoop/下：
		下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-2.2.0/

		# 2.解压安装
		cd /data/software/hadoop/
		mkdir /data/cloud/hadoop/
		tar -xvf hadoop-2.2.0.tar.gz  -C /data/cloud/hadoop/

		# 3.修改配置文件
		cd /data/cloud/hadoop/hadoop-2.2.0/etc/hadoop/
		
		vim hadoop-env.sh 
			# The java implementation to use.
			export JAVA_HOME=/usr/local/java/jdk1.7.0_75

		vim core-site.xml
			<configuration>
				<!-- 设置提供HDFS服务的主机名和端口号，即NameNode运行的节点 -->
				<property>
						<name>fs.defaultFS</name>
						<value>hdfs://master:9000</value>
				</property>
				<!-- 指定hadoop运行时产生文件的存储路径 -->
				<property>
						<name>hadoop.tmp.dir</name>
						<value>/data/cloud/hadoop/hadoop-2.2.0/tmp</value>
				</property>
			</configuration>
		
		vim hdfs-site.xml
			<configuration>
				<!-- 设置hdfs中文件保存的份数，伪分布式设为1 -->
				<property>
						<name>dfs.replication</name>
						<value>1</value>
				</property>
			</configuration>
		
		mv mapred-site.xml.template  mapred-site.xml
		vim mapred-site.xml
			<configuration>
				<!-- 指定MapReduce是运行在yarn上 -->
				<property>
						<name>mapreduce.framework.name</name>
						<value>yarn</value>
				</property>
			</configuration>
		
		vim yarn-site.xml
			<configuration>
				<!-- 设置reducer取数据的方式是mapreduce_shuffle -->
				<property>
					<name>yarn.nodemanager.aux-services</name>
					<value>mapreduce_shuffle</value>
				</property>
			</configuration>

			
		# 4.配置环境变量
		vim /etc/profile
			export JAVA_HOME=/usr/local/java/jdk1.7.0_75
			export HADOOP_HOME=/data/cloud/hadoop/hadoop-2.2.0
			
			export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
		
		source /etc/profile
		
		
		# 5.格式化hdfs
		hdfs namenode -format
			# 出现以下信息证明格式化成功：INFO common.Storage: Storage directory /data/cloud/hadoop/hadoop-2.2.0/tmp/dfs/name has been successfully formatted
		
		
		# 6.启动hdfs和yarn
		/data/cloud/hadoop/hadoop-2.2.0/sbin
		
			# 6.1先启动hdfs
			sbin/start-dfs.sh
			# 查看hdfs是否启动成功：jps
				3371 Jps
				2796 NameNode
				2900 DataNode
				3275 SecondaryNameNode

			# 6.2再启动yarn
			sbin/start-yarn.sh
			# 查看yarn是否启动成功：jps
				3421 ResourceManager
				2796 NameNode
				2900 DataNode
				3785 Jps
				3514 NodeManager
				3275 SecondaryNameNode

		# 7.访问hadoop的管理界面：
			HDFS管理界面：http://192.168.1.110:50070
			MR管理界面：http://192.168.1.110:8088