第一章 大数据平台环境搭建
在指定主机上完成Hadoop完全分布式、Spark、Flink、kafka、flume的安装配置
赛前准备
主办方要求使用以下相关版本软件环境,仅供参考:
设备类型 | 软件类别 | 软件名称、版本号 |
---|---|---|
竞赛服务器 | 竞赛环境大数据集群操作系统 | Centos7 |
大数据平台组件 | unbuntu18.04 | |
Hadoop2.7.7 | ||
Hive 2.3.4 | ||
Spark 2.1.1 | ||
Kafka 2.0.0 | ||
Redis 4.0.1 | ||
Flume 1.7.0 | ||
Flink 1.10.2 | ||
JDK 1.8 | ||
My SQL 5.7 | ||
开发客户端 | PC操作系统 | Ubuntu 81.04 64位 |
浏览器 | Chrome | |
开发语言 | Scala 2.11 | |
开发工具 | IDEA 2019(Community Edition) | |
Visual Studio Code 1.58 | ||
数据可视化组件 | Vue.js 3.0 | |
Echarts 5.1 | ||
文档编辑器 | WPS Linux版 | |
输入法 | 搜狗拼音输入法 Linux版 |
以下为LINUX版本相关软件的名称及下载地址:
- CentOS-7-x86_64-DVD-2009.iso
- hadoop-2.7.7.tar.gz
- apache-hive-2.3.4-bin.tar.gz
- spark-2.1.1-bin-hadoop2.7.tgz
- kafka_2.11-2.0.0.tgz
- redis-4.0.1.tar.gz
- apache-flume-1.7.0-bin.tar.gz
- flink-1.10.2-bin-scala_2.12.tgz
- jdk-8u311-linux-x64.tar.gz
JDK下载需要登陆帐号哦,也可以去其他博主页面或网盘下载相关JDK; - mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz
- ubuntu-18.04.6-desktop-amd64.iso
- Chrome
- IntelliJ IDEA 2019
- scala-2.11.0.tgz
- Visual Studio Code1.62
- Vue相关
- Echart相关
- WPS Linux版
- 搜狗拼音输入法 Linux版
相关系统安装及linux相关指令请看以下链接
Linux系统虚拟机安装 Centos && Ubuntu
Liunx物理机安装——建议使用rufus,制作起来超级简单!!!
Linux相关指令学习点这里;