Hadoop伪分布式安装

一、简介
1. 单机模式：只能启用MapReduce，不能启用HDFS以及Yarn
2. 伪分布式：用一台机器来模拟集群环境，所以启动Hadoop的所有进程 - 要求掌握
3. 全分布式：用多台机器来搭建Hadoop集群

二、伪分布式安装
1. 关闭防火墙
临时关闭防火墙：service iptables stop
永久关闭防火墙：chkconfig iptables off
2. 在Hadoop集群中，主机名中不能有-或者_，否则出错，也就意味着需要更 改主机名：vim /etc/sysconfig/network
3. 让network文件重新生效：source /etc/sysconfig/network
4. 将主机名和ip进行映射：vim /etc/hosts，然后添加ip和主机名
5. 重启：reboot
6. 配置免密登录：
a. 产生公私钥：ssh-keygen
b. 进行免密登录：ssh-copy-id 用户名@主机名
7. 配置JDK
8. 下载Hadoop的安装包：wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/hadoop-2.7.1_64bit.tar.gz
9. 解压Hadoop的安装包：tar -xvf hadoop-2.7.1_64bit.tar.gz
10. 进入hadoop的安装目录的子目录etc/hadoop下
11. 修改hadoop环境：vim hadoop-env.sh，指定JAVA_HOME以及HADOOP_CONF_DIRjava_home可以到 vim /etc/profile中查看java的环境配置，HADOOP_CONF_DIR指向hadoop安装目录下的的hadoop文件夹
12. 重新生效：source hadoop-env.sh
13. 配置core-site.xml:
a. vim core-site.xml
b. 添加如下配置：

	`<property>
				<!--指定NameNode所在的节点-->
		        <name>fs.defaultFS</name>
		        <value>hdfs://hadoopjjq:9000</value>
		</property>
		<property>
				<!--指定元数据存储目录-->
		        <name>hadoop.tmp.dir</name>
		        <value>/home/software/hadoop-2.7.1/tmp</value>
		</property>`

14. 配置hdfs-site.xml:
a. vim hdfs-site.xml
b. 添加信息

<property>
	<!--hadoop默认复本数目为3.伪分布式下仅一个节点，会进入安全模式从而无法启动，所以强制设置为1-->
	 <name>dfs.replication</name>
	 <value>1</value>
</property>

15. 配置mapred-site.xml:
a. 复制文件：cp mapred-site.xml.template mapred-site.xml
b. 编辑文件：vim mapred-site.xml
c. 添加信息：

		<property>
		        <name>mapreduce.framework.name</name>
		        <value>yarn</value>
		</property>

16. 配置yarn-site.xml:
a. vim yarn-site.xml
b. 添加信息：

<property>
		        <name>yarn.resourcemanager.hostname</name>
		        <value>hadoopjq</value>
		</property>
		<property>
		        <name>yarn.nodemanager.aux-services</name>
		        <value>mapreduce_shuffle</value>
		</property>

17. 修改slaves文件:vim slaves，添加主机名

18. 配置hadoop的环境变量
a. vim /etc/profile
b. 配置HADOOP_HOME以及PATH
c. 重新生效：source /etc/profile
19. 格式化Hadoop：hadoop namenode -format
20. 启动hadoop：start-all.sh
21. 使用jps观察启动的后台java进程

ok,启动成功