CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群
VMWare 安装CentOS 7
- 推荐使用VMware Workstation Pro 16,下载安装即可。
- 下载最新的CentOS 7 Minimal-2009.iso,在虚拟机安装。推荐1G运存和20G存储。
- 在CentOS 7的安装过程中,需要设置root用户的密码,还可以根据需要创建单独的用户。
- 安装完成后,使用命令行进行更新,然后安装net-tools.x86_64,以方便查看ip地址。
ip地址为:192.168.92.137# 如果在安装时没有连接网络 vi /etc/sysconfig/network-scripts/ifcfg-ens33 # 将ONBOOT=no修改为yes # 重启网络服务 service network restart # 更新系统 yum update # 安装net-tools yum install net-tools.x86_64 # 查看ip地址 ifconfig
使用Xshell连接虚拟机
- 这里可以下载Xshell家庭/学校免费版,但是您需要申请才行。
- 文件->新建会话,信息配置可以参考如下,连接即可。
名称 主机 端口 用户名 CentOS 7 192.168.92.137 22 root
集群设置
- 节点设置。
hostname(主机名) ip地址 namenode(主节点) datanode(从节点) master 192.168.92.137 True False slave1 192.168.92.138 False True slave2 192.168.92.139 False True slave3 192.168.92.140 False True
安装JDK 1.8
- 在进行下一步的克隆前,我们先安装jdk-8u271-linux-x64.tar.gz,目前1.8版本的下载需要注册Oracle的账号才能够下载,有点麻烦呢。
- 使用SCP命令上传到master主机上,scp命令使用参考如下。
参数依次是本地文件,远程用户名和远程ip,以及保存的文件夹。在PowerShell中使用如下。scp local_file remote_username@remote_ip:remote_folder
PS E:\XunLeiDownload> scp .\jdk-8u271-linux-x64.tar.gz root@192.168.92.137:/usr/local >>> # 这是输出 The authenticity of host '192.168.92.137 (192.168.92.137)' can't be established. ECDSA key fingerprint is SHA256:DjkK5V/chVHAD1SsaosqdxfH4wClmH8S6M8kxw7X/RQ. Are you sure you want to continue connecting (yes/no)? Warning: Permanently added '192.168.92.137' (ECDSA) to the list of known hosts. root@192.168.92.137's password: jdk-8u271-linux-x64.tar.gz 100% 137MB 91.5MB/s 00:01 # 上传成功
- 解压jdk1.8到/usr/