Hadoop单机模式的伪分布式安装

安装步骤:
1:关闭防火墙
执行：service iptables stop 这个指令关闭完防火墙后，如果重启，防火墙会重新建立
所 以，如果想重启后防火墙还关闭，需额外执行：chkconfig iptables off

2:配置主机名
执行：vim /etc/sysconfig/network
这种方式更改主机名需要重启才能永久生效，因为主机名属于内核参数。如果不想重启，可以执行：hostname hadoop01
但是这种更改是临时的，重启后会恢复 原主机名
所以可以结合使用。先修改配置文件，然后执行:hostname hadoop01 。可以达到不重启或 重启都是主机名都是同一个的目的

NETWORKING=yes
HOSTNAME=hadoop01

3:配置hosts文件
执行：vim /etc/hosts

127.0.0.1      localhost localhost.localdomain localhost4 localhost4.localdomain4
::1            localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.161.52 hadoop01

4:配置免密码登陆
在hadoop01节点执行：执行：ssh-keygen,然后一直回车
.配置自己节点登录的免密码登录: 执行：ssh-copy-id root@hadoop01(单机的伪分布式环境)
配置其他节点登陆的免密码登陆:例如hadoop02节点的免密码登陆:执行：ssh-copy-id root@hadoop02

5:安装和配置jdk
执行： vi /etc/profile
2）在尾行添加

JAVA_HOME=/usr/local/src/java/jdk1.7.0_51
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOMEPATH CLASSPATH

保存退出
3）source /etc/profile 使更改的配置立即生效
4）java -version 查看JDK版本信息。如显示1.7.0证明成功。

6:上传和解压hadoop安装包

7:配置hadoop-env.sh这个文件里写的是hadoop的环境变量,主要修改hadoop的java_home路径
切换到 etc/hadoop目录,执行：vim hadoop-env.sh,修改java_home路径和hadoop_conf_dir 路径

export JAVA_HOME=/home/software/jdk1.8
export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop

然后执行：source hadoop-env.sh 让配置立即生效

8:修改core-site.xml
在 etc/hadoop 目录下执行：vim core-site.xml

<configuration>
<!--用来指定hdfs的老大，namenode的地址-->
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop01:9000</value>
</property> 
<!--用来指定hadoop运行时产生文件的存放目录-->
<property>
<name>hadoop.tmp.dir</name> 
<value>/home/software/hadoop-2.7.1/tmp</value>
</property>
</configuration>

9:修改hdfs-site.xml

<configuration>
<!--指定hdfs保存数据副本的数量，包括自己，默认值是3-->
<!--如果是伪分布模式，此值是1-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--设置 hdfs 的操作权限， false 表示任何用户都可以在 hdfs 上操作文件-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

10:修改mapred-site.xml
这个文件初始时是没有的，有的是模板文件，mapred-site.xml.template
所以需要拷贝一份，并重命名为mapred-site.xml
执行：cp mapred-site.xml.template mapred-site.xml

<configuration>
<property>
<!--指定mapreduce运行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

11:修改yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<!--指定yarn的老大resoucemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<!--NodeManager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

12:配置slaves文件

hadoop01

13:配置hadoop的环境变量
执行vim /etc/profile

JAVA_HOME=/home/software/jdk1.8
HADOOP_HOME=/home/software/hadoop-2.7.1
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME PATH CLASSPATH  HADOOP_HOME

14:参考第8步,需要在指定目录下创建tmp文件夹

15:格式化namenode
执行：hadoop namenode -format
当出现：successfully，证明格式化成功

16:在sbin目录下执行
sh start-all.sh

17:执行jps,观察是否出现以下6项,出现则表示hadoop安装成功

5459 DataNode
6886 Jps
5848 NodeManager
5612 SecondaryNameNode
5757 ResourceManager
5343 NameNode