目录
HDFS安装模式简介
伪分布式安装
环境安装搭建过程
注意:root@master与root@localhost虽然都代表本机,但是还有些区别。root@master代表的是本机的ip地址,root@localhost代表的是127.0.0.1。对root@master和root@localhost免密是不是同一种。这里由于是伪分布式所以对localhost免密即可。
slaves文件配置
由于是伪分布式安装,所以无需配置该文件
[root@localhost hadoop]# cat slaves
·················
localhost
·················
格式化与启动
在执行格式化集群后,生成地默认的dfs/name路径是/tmp/hadoop-root/dfs
案例演示
命令说明文档: https://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/FileSystemShell.html
网页端执行情况查看: 192.168.178.128:50070
全分布式安装
要删除的即上文所说的dfs目录,默认为/tmp/hadoop-root/dfs
配置静态IP和主机名配置
--1.配置静态IP(确保NAT模式)
[root@master ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
····················
BOOTPROTO=static # 将dhcp改为static
ONBOOT=yes # 将no改为yes
IPADDR=192.168.178.128 # 添加IPADDR属性和ip地址
PREFIX=24 # 添加
NEXTMASK=255.255.255.0 # 子网掩码
GATEWAY=192.168.178.2 # 添加网关
DNS1=114.114.114.114 # 添加DNS1
DNS2=8.8.8.8 # 添加备份DNS
····················
--2.重启网络服务
[root@master ~]# systemctl restart network
[root@master ~]# service network restart # 该命令作用于上面一句命令作用相同
--3.修改主机名(如果修改过,请略过这一步)
[root@localhost ~]# hostnamectl set-hostname master
[root@localhost ~]# vi /etc/hostname # 该命令作用于上面一句命令作用相同
······················
master
······················
配置/etc/hosts文件
[root@master ~]# vi /etc/hosts
······················
添加下面内容
192.168.178.128 master # 添加本机的静态IP和本机的主机名之间的映射关系
192.168.178.129 slave1
192.168.178.130 slave2
······················
免密登录认证
--1.使用rsa加密技术,生成公钥和私钥。一路回车即可
[root@master ~]# ssh-keygen -t rsa
--2.进入~/.ssh目录下,使用ssh-copy-id命令
[root@master .ssh]# ssh-copy-id root@master
--3.进行验证
[hadoop@master .ssh]# ssh master
# 下面的第一次执行时输入yes后,不提示输入密码就对了
[hadoop@master .ssh]# ssh localhost
[hadoop@master .ssh]# ssh 0.0.0.0
# 退出命令是exit
注意:三台机器提前安装好的情况下,需要同步公钥文件。如果使用克隆技术,
那么使用同一套秘钥对就方便多了。
时间同步
可以参考Linux文档中的时间同步或者搭建局域网时间服务器
安装jdk和hadoop,并配置相关环境变量
略
Hadoop的配置文件
一、提取四个默认配置文件:
- 1、将hadoop安装包解压到PC端的一个目录下,然后在hadoop-2.7.6目录下创建一个default目录,用于存储默认配置文件。
- 2、进入hadoop的share目录中的doc子目录,搜索default.xml,将以下四个默认的xml文件copy到default目录中,方便以后查看,即core-default.xml、hdfs-default.xml、mapre