CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群

CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群

• • • VMWare 安装CentOS 7
    • 使用Xshell连接虚拟机
    • 集群设置
    • 安装JDK 1.8
    • SSH 免密登陆
    • 安装hadoop 3.2
    • 安装Spark 3.0.1
    • 总结

 

VMWare 安装CentOS 7

1. 推荐使用VMware Workstation Pro 16，下载安装即可。
2. 下载最新的CentOS 7 Minimal-2009.iso，在虚拟机安装。推荐1G运存和20G存储。
3. 在CentOS 7的安装过程中，需要设置root用户的密码，还可以根据需要创建单独的用户。
4. 安装完成后，使用命令行进行更新，然后安装net-tools.x86_64，以方便查看ip地址。

   # 如果在安装时没有连接网络
    vi /etc/sysconfig/network-scripts/ifcfg-ens33
    # 将ONBOOT=no修改为yes
    # 重启网络服务
    service network restart
    # 更新系统
    yum update
    # 安装net-tools
    yum install net-tools.x86_64
    # 查看ip地址
    ifconfig
   

   ip地址为：192.168.92.137

使用Xshell连接虚拟机

1. 这里可以下载Xshell家庭/学校免费版，但是您需要申请才行。
2. 文件->新建会话，信息配置可以参考如下，连接即可。

   名称	主机	端口	用户名
   CentOS 7	192.168.92.137	22	root

   表格中的信息，具体需要更换成您自己的。

集群设置

1. 节点设置。

   hostname(主机名)	ip地址	namenode(主节点)	datanode(从节点)
   master	192.168.92.137	True	False
   slave1	192.168.92.138	False	True
   slave2	192.168.92.139	False	True
   slave3	192.168.92.140	False	True

   为什么上面的ip地址是连续的呢? 这其实跟DHCP有关，下一步我们会使用克隆主机的方式来创建多个slave机器，大家可以去验证，但是可能出现与表中不一直的ip，我们根据需要修改即可。

安装JDK 1.8

1. 在进行下一步的克隆前，我们先安装jdk-8u271-linux-x64.tar.gz，目前1.8版本的下载需要注册Oracle的账号才能够下载，有点麻烦呢。
2. 使用SCP命令上传到master主机上，scp命令使用参考如下。

   scp local_file remote_username@remote_ip:remote_folder 
   

   参数依次是本地文件，远程用户名和远程ip，以及保存的文件夹。在PowerShell中使用如下。

   	PS E:\XunLeiDownload> scp .\jdk-8u271-linux-x64.tar.gz root@192.168.92.137:/usr/local
   	>>> # 这是输出
   	The authenticity of host '192.168.92.137 (192.168.92.137)' can't be established.
   	ECDSA key fingerprint is SHA256:DjkK5V/chVHAD1SsaosqdxfH4wClmH8S6M8kxw7X/RQ.
   	Are you sure you want to continue connecting (yes/no)?
   	Warning: Permanently added '192.168.92.137' (ECDSA) to the list of known hosts.
   	root@192.168.92.137's password:
   	jdk-8u271-linux-x64.tar.gz                                                            100%  137MB  91.5MB/s   00:01    # 上传成功
   

3. 解压jdk1.8到/usr/