Hadoop框架之三种安装方式超详细解析

HDFS安装模式简介

伪分布式安装

环境安装搭建过程

  注意：root@master与root@localhost虽然都代表本机，但是还有些区别。root@master代表的是本机的ip地址，root@localhost代表的是127.0.0.1。对root@master和root@localhost免密是不是同一种。这里由于是伪分布式所以对localhost免密即可。

slaves文件配置

由于是伪分布式安装，所以无需配置该文件

[root@localhost hadoop]# cat slaves
·················
localhost
·················

格式化与启动

在执行格式化集群后，生成地默认的dfs/name路径是/tmp/hadoop-root/dfs

案例演示

命令说明文档： https://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/FileSystemShell.html
网页端执行情况查看： 192.168.178.128:50070

全分布式安装

要删除的即上文所说的dfs目录，默认为/tmp/hadoop-root/dfs

配置静态IP和主机名配置

--1.配置静态IP(确保NAT模式)
[root@master ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
····················
BOOTPROTO=static                            # 将dhcp改为static
ONBOOT=yes                                  # 将no改为yes
IPADDR=192.168.178.128                      # 添加IPADDR属性和ip地址
PREFIX=24                                   # 添加
NEXTMASK=255.255.255.0                      # 子网掩码
GATEWAY=192.168.178.2                       # 添加网关
DNS1=114.114.114.114                       # 添加DNS1
DNS2=8.8.8.8                               # 添加备份DNS
····················

--2.重启网络服务
[root@master ~]# systemctl restart network
[root@master ~]# service network restart   # 该命令作用于上面一句命令作用相同

--3.修改主机名(如果修改过，请略过这一步)
[root@localhost ~]# hostnamectl set-hostname master
[root@localhost ~]# vi /etc/hostname       # 该命令作用于上面一句命令作用相同 
······················
master
······················

配置/etc/hosts文件

[root@master ~]# vi /etc/hosts
······················
添加下面内容
192.168.178.128   master   # 添加本机的静态IP和本机的主机名之间的映射关系
192.168.178.129   slave1
192.168.178.130   slave2
······················

免密登录认证

--1.使用rsa加密技术，生成公钥和私钥。一路回车即可
[root@master ~]# ssh-keygen -t rsa
--2.进入~/.ssh目录下，使用ssh-copy-id命令
[root@master .ssh]# ssh-copy-id root@master
--3.进行验证
[hadoop@master .ssh]# ssh master
# 下面的第一次执行时输入yes后，不提示输入密码就对了
[hadoop@master .ssh]# ssh localhost
[hadoop@master .ssh]# ssh 0.0.0.0
# 退出命令是exit

注意：三台机器提前安装好的情况下，需要同步公钥文件。如果使用克隆技术，
那么使用同一套秘钥对就方便多了。

时间同步

可以参考Linux文档中的时间同步或者搭建局域网时间服务器

安装jdk和hadoop，并配置相关环境变量

略

Hadoop的配置文件

  一、提取四个默认配置文件：

• 1、将hadoop安装包解压到PC端的一个目录下，然后在hadoop-2.7.6目录下创建一个default目录，用于存储默认配置文件。
• 2、进入hadoop的share目录中的doc子目录，搜索default.xml，将以下四个默认的xml文件copy到default目录中，方便以后查看，即core-default.xml、hdfs-default.xml、mapre