spark集群搭建

spark集群搭建

1、HDFS集群安装部署

准备linux机器

• 这里使用VMware和centOS7创建好了三台虚拟机

  

辅助工具

• 远程连接工具：这里使用SecureCRT

  

准备环境

• 注：每台虚拟机都需要配置，这里一台虚拟机为例

• 设置好主机名

  ​ 这里主机名分别是：node01、node02、node03

  修改举例：

  hostnamectl set-hostname node01
  

  当然还有其他的修改方式，要求修改成主机名永久有效即可

• 配置静态IP地址

  • 先查看本机的以太网适配器 VMware Network Adapter VMnet8:

  ​ 方式一：cmd打开终端输入命令ipconfig即可查看

  ​ 方拾二：打开网络和Internet设置，点击更改适配器选项，点击VMnet8，点击详细信息即可查看

  

  • 查看虚拟机网络信息

    打开VMware，点击编辑，点击虚拟网络编辑器，点击VMnet8（net模式），点击NAT设置即可查看信息

  

  • 虚拟机IP设置

    输入命令修改文件：

    vim /etc/sysconfig/network-scripts/ifcfg-ens33 
    

    

    修改完毕后重启服务：

    service network restart
    

    查看配置好的IP：

    ifconfig
    

    验证配置好的IP是否可以联网：

    ping www.baidu.com
    

• 加入hosts映射

  输入命令修改文件：

  vim /etc/hosts