【 Spark编程基础 】实验1

第1部分：虚拟机的准备工作

1.1 下载安装虚拟机

• 这里一开始使用Mac电脑安装虚拟机，使用UTM，但是过程曲折，后期换成了Windows系统，使用VMWare安装虚拟机
  

1.2 修改主机名

1.3 主机ip映射

• 获取Ubuntu虚拟机网卡编号

  • 获取Ubuntu虚拟机的网卡编号：ifconfig
  • 如果提示未安装ifconfig，需下载ifconfig：sudo apt install ifconfig
  • 如果提示未安装net-tools，需下载net-tools ：sudo apt install net-tools
  • 如提示需更新：sudo apt-get update
    

• 修改虚拟机IP地址（可选,建议不要改，动态配置地址）

  • 修改虚拟机IP地址
  • cd /etc/netplan/
  • (tab)
  • 修改成以下代码
  • 生效：
    • sudo netplan apply
    • sudo netplan try
      
      

• 主机ip映射：打开hosts文件，新增三条IP与主机的映射关系：

  • 这里的ip地址根据自己ifconfig现实的ip地址更改！！！
  • 后期改成了192.168.131.128
    

• 注意：这里的网关为宿主机IP！！！
  

安装SSH服务端

• 设置SSH无密码登录
  
  
  

SFTP连接，传输安装包

安装Java环境

• 下载地址：https://repo.huaweicloud.com/java/jdk/8u202-b08/
• mac OS使用arm版本，windows使用x64
  
• 配置环境变量
  
• 这里使用Terminal远程登陆了虚拟机，界面发生了变化
  

第2部分 Hadoop安装

2.1 安装Hadoop

第3部分 配置集群环境

第4部分 Spark安装

数据本2002刘浩
CSDN：小手の冰凉（ID：Lenhart001）