前言
准备参加11月18日的全国高校计算机能力挑战赛的大数据挑战赛,根据官网上给出的信息进行备考(其实可以算是从0基础开始学习),写博客以记录学习过程。
比赛环境
官网(2023年第五届全国高校计算机能力挑战赛 - 大数据挑战赛)上给出的环境如下:
设备类型 | 软件类别 | 软件名称、版本号 |
服务器集群 | 大数据集群操作系统 | Ubuntu18.04 64 位、Docker-CE 20.10 |
大数据分析平台组件 | Hadoop 3.1.3 | |
Zookeeper 3.4.5 | ||
Flink 1.14.0 | ||
Hive 3.1.2 | ||
Flume 1.9.0 | ||
Sqoop 1.9 | ||
Kafka 2.4.1 | ||
Spark 3.1.1 | ||
数据库 | HBase 2.2.3 | |
Redis 6.2.6 | ||
MySQL 5.7 | ||
开发语言 | Python3.6 | |
JDK1.8 | ||
Scala2.12 | ||
开发客户端 | 浏览器 | Chrome最新版 |
输入法 | 拼音输入法 | |
网络 | Internet服务 |
安装Ubuntu18.04
1.下载Ubuntu18.04的镜像
官网:Ubuntu 18.04.6 LTS (Bionic Beaver)
or
阿里云: ubuntu-releases-18.04.6安装包下载_开源镜像站-阿里云
选择Desktop Image。
2.创建虚拟机并安装Ubuntu镜像
打开VMware--文件--新建虚拟机--典型--下一步--稍后安装操作系统--Linux,Ubuntu 64位--下一步--名称、位置随意--最大磁盘大小这里先给40G,拆分成多个文件--下一步--自定义硬件--在“新CD/DVD”里设置使用ISO映像文件,选择下载好的镜像文件,网络适配器选择NAT--关闭--完成。
开启此虚拟机--选择语言,往下拉有中文(简体)--安装Ubuntu--键盘布局默认汉语--安装软件之类的可以默认继续--现在安装--继续--时区上海继续--姓名计算机名用户名密码自己设置,为避免麻烦可以自动登录--等待安装~
安装完成后,根据提示重启即可:
重启过程中这里注意按一下Enter键:
3.安装VM Tools
点击上方菜单栏中的“虚拟机”--安装VMware Tools--打开桌面上出现的图标:
右键第三个文件--复制到--桌面,右键桌面的压缩包,提取到此处:
点进这个文件夹,找到vmware-install.pl
在此处打开终端,输入:
sudo ./vmware-install.pl
密码输入设置的密码,回车--y,回车,然后一路回车,显示以下界面即安装成功,我们手动重启虚拟机即可应用修改。
额外说明
由于我已经安装过很多次虚拟机,所以上面写的是安装Ubuntu过程的最简化说明。如果你是第一次安装虚拟机,看不懂我上面写的内容,可以参考下面这篇博客,写的更详细一些,每一步都附有截图:【Linux】VMware安装unbuntu18.04虚拟机-超详细步骤(附镜像文件)_vmware安装ubuntu18.04_beixi@的博客-CSDN博客