hadoop伪分布式集群安装
-
1.下载好VMware安装虚拟机
(1)打开VMware,点击文件->点击虚拟机->创建新的虚拟机 -
2.配置Linux系统
(1)时间设置
选择和自身电脑时间一样即可(2)软件选择
点击软件选择->点击GHOME->点击完成(3)安装位置(配置磁盘分区)
点击其他存储设置->点击我要配置分区->点击完成(4)手动添加分区
点击选择为标准分区->点击+(加号)(a)/boot -> 1G -> 添加挂载点 -> 修改文件系统为ext4 -> 点击+(加号)
(b)swap -> 4G -> 添加挂载点 -> 点击+(加号)
(c)/ -> 45G -> 添加挂载点 -> 修改文件系统为ext4 -> 点击完成
(5)kdump
把启用kdump前的对勾去掉(6)网络和主机名
打开网络按钮 -> 修改主机名 -> 点击应用 -> 点击完成(7)SECURITY POLICY
(8)开始安装(慢慢等待)
(9)设置root用户密码(一定不要忘了)
(10)一直前进下一步 ,安装完,重启,重启后切换为root用户 -
3.网络配置
(1)先使用VMware中的虚拟网络编辑器,在nat中来改配置网络
(2)之后在本机中更改网络适配器设置,打开VMware8来修改IPv4和ipv6的地址
(3)在Linux打开终端
输入命令 vim /etc/sysconfig/network-scripts/ifcfg-ens33 回车
执行systemctl restart network命令,重启网络服务
关闭防火墙,关闭防火墙开机自启
systemctl stop firewalld
systemctl disable firewalld.service
重启
reboot
- 4.正式开始伪分布式安装
- (1)为了便于文件配置和虚拟机通信,通常会对主机名和IP做映射配置,在虚拟机执行vi /etc/hosts命令编辑映射文件hosts
(2)关闭防火墙
查看防火墙状态(firewall-cmd --state)
(3)停止防火墙服务:systemctl stop firewalld
(4)禁用防火墙服务,确保其在系统重新启动后不会自动启动
systemctl disable firewalld
(5)先使用Xshell和Xftp上传解压jdk和hadoop
(6)配置文件
(7)修改 core-site.xml 文件,注意 fs.defaultFS 属性中的主机名需要和你配置的主机名保持一致
(8)修改 hdfs-site.xml 文件,把 hdfs 中文件副本的数量设置为 1,因为现在伪分布集群只有一个节点
(9)修改 mapred-site.xml,设置 mapreduce 使用的资源调度框架
(10)修改 yarn-site.xml,设置 yarn 上支持运行的服务和环境变量白名单
(11)格式化 namenode
如果在后面的日志信息中能看到这一行,则说明 namenode 格式化成功。
common.Storage: Storage directory xxx has been successfully
formatted.
(12)修改start-dfs.sh文件(在hadoop-3.2.0/sbin目录下),在文件前面增加如下内容:(HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root)
(13)修改stop-dfs.sh文件(在hadoop-3.2.0/sbin目录下),在文件前面增加如下内容:(HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root)
(14)修改 start-yarn.sh文件(在hadoop-3.2.0/sbin目录下),在文件前面增加如下内容:(YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root)
(15)修改stop-yarn.sh 文件(在hadoop-3.2.0/sbin目录下),在文件前面增加如下内容:(YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root)
(16)启动 hadoop 集群:(sbin/start-all.sh)
(17)验证集群进程信息
执行 jps 命令可以查看集群的进程信息,除了jps 这个进程之外还需要有 5 个进程才说明集群是正常启动的。
-总结
在网络配置中要注意ip地址要跟本机相匹配哦!