Linux企业运维篇——Hadoop的三种运行模式（单机模式，伪分布式模式，全分布式集群模式）

Hadoop技术原理：

Hdfs主要模块：NameNode、DataNode
Yarn主要模块：ResourceManager、NodeManager

HDFS主要模块及运行原理：

1）NameNode：

功能：是整个文件系统的管理节点。维护整个文件系统的文件目录树，文件/目录的元数据和
每个文件对应的数据块列表。接收用户的请求。

2）DataNode：

功能：是HA（高可用性）的一个解决方案，是备用镜像，但不支持热备

注意做好地址解析,每一台server都要做

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.25.6.1 server1
172.25.6.2 server2
172.25.6.3 server3
172.25.6.4 server4

一、单机模式（独立模式）（Local或Standalone Mode）

-默认情况下，Hadoop即处于该模式，用于开发和调式。
-不对配置文件进行修改。
-使用本地文件系统，而不是分布式文件系统。
-Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。
-用于对MapReduce程序的逻辑进行调试，确保程序的正确。

server1：
　
建立hadoop用户，将安装包移动到hadoop用户的家目录，切换到hadoop用户下

[root@server1 ~]# useradd hadoop
[root@server1 ~]# id hadoop
uid=1000(hadoop) gid=1000(hadoop) groups=1000(hadoop)
[root@server1 ~]# ls
hadoop-3.0.3.tar.gz  jdk-8u181-linux-x64.tar.gz
[root@server1 ~]# mv * /home/hadoop/
[root@server1 ~]# su - hadoop
[hadoop@server1 ~]$ ls
hadoop-3.0.3.tar.gz  jdk-8u181-linux-x64.tar.gz

解压并做链接

[hadoop@server1 ~]$ tar zxf jdk-8u181-linux-x64.tar.gz # 解压
[hadoop@server1 ~]$ ls
hadoop-3.0.3.tar.gz  jdk1.8.0_181  jdk-8u181-linux-x64.tar.gz
[hadoop@server1 ~]$ ln -s jdk1.8.0_181/ java #做链接
[hadoop@server1 ~]$ ls
hadoop-3.0.3.tar.gz  java  jdk1.8.0_181  jdk-8u181-linux-x64.tar.gz
[hadoop@server1 ~]$ tar zxf hadoop-3.0.3.tar.gz 
[hadoop@server1 ~]$ ls
hadoop-3.0.3  hadoop-3.0.3.tar.gz  java  jdk1.8.0_181  jdk-8u181-linux-x64.tar.gz
[hadoop@server1 ~]$ ln -s hadoop-3.0.3 hadoop #做链接
[hadoop@server1 ~]$ ls
hadoop  hadoop-3.0.3  hadoop-3.0.3.tar.gz  java  jdk1.8.0_181  jdk-8u181-linux-x64.tar.gz

配置环境

[hadoop@server1 ~]$ cd hadoop
[hadoop@server1 hadoop]$ cd etc/
[hadoop@server1 etc]$ ls
hadoop
[hadoop@server1 etc]$ cd hadoop/
[hadoop@server1 hadoop]$ ls

[hadoop@server1 hadoop]$ vim hadoop-env.sh #添加java的环境
54 export JAVA_HOME=/home/hadoop/java

[hadoop@server1 hadoop]$ cd 
[hadoop@server1 ~]$ ls
hadoop  hadoop-3.0.3  hadoop-3.0.3.tar.gz  java  jdk1.8.0_181  jdk-8u181-linux-x64.tar.gz
[hadoop@server1 ~]$ vim .bash_profile #修改添加环境
PATH=$PATH:$HOME/.local/bin:$HOME/bin:$HOME/java/bin

配置成功就可以使用jps命令，可以列出本机所有java的pid

[hadoop@server1 ~]$ jps
1069 Jps

测试：

[hadoop@server1 ~]$ ls
hadoop  hadoop-3.0.3  hadoop-3.0.3.tar.gz  java  jdk1.8.0_181  jdk-8u181-li