spark集群搭建
1、HDFS集群安装部署
准备linux机器
-
这里使用VMware和centOS7创建好了三台虚拟机
辅助工具
-
远程连接工具:这里使用SecureCRT
准备环境
-
注:每台虚拟机都需要配置,这里一台虚拟机为例
-
设置好主机名
这里主机名分别是:node01、node02、node03
修改举例:
hostnamectl set-hostname node01
当然还有其他的修改方式,要求修改成主机名永久有效即可
-
配置静态IP地址
- 先查看本机的以太网适配器 VMware Network Adapter VMnet8:
方式一:cmd打开终端输入命令ipconfig即可查看
方拾二:打开网络和Internet设置,点击更改适配器选项,点击VMnet8,点击详细信息即可查看
-
查看虚拟机网络信息
打开VMware,点击编辑,点击虚拟网络编辑器,点击VMnet8(net模式),点击NAT设置即可查看信息
-
虚拟机IP设置
输入命令修改文件:
vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改完毕后重启服务:
service network restart
查看配置好的IP:
ifconfig
验证配置好的IP是否可以联网:
ping www.baidu.com
-
加入hosts映射
输入命令修改文件:
vim /etc/hosts