从零开始搭建个人大数据集群——环境准备篇

1.至少准备三台虚拟机(我用五台)并按如下文章做好配置
服务器配置NTP时钟同步
我是用hadoop用户来安装集群，如果用root用户的话可以不用管这一步
Linux/CentOS 配置普通用户配置免密切换root
2.所有虚拟机之间配置免密登录
3.准备好存放安装包及安装软件的目录，以及存放数据的目录
我存放软件包的位置是/opt/packages，安装目录是/opt/apps
数据目录是/data 且/data目录的权限要设置为755，权限太大的话安装HDFS的时候会报错
4.下载好各个软件包
推荐在清华镜像站下载：https://mirrors.tuna.tsinghua.edu.cn/apache/
或者从我的百度网盘下载：https://pan.baidu.com/s/1dLw1nuP9ahlIwrVykVNiGw
提取码：kofd
apache-flume-1.9.0-bin.tar.gz
apache-hive-3.1.2-bin.tar.gz
apache-zookeeper-3.5.9-bin.tar.gz
cmak-3.0.0.5.zip
flink-1.13.0-bin-scala_2.12.tgz
hadoop-3.2.2.tar.gz
hbase-2.3.5-bin.tar.gz
hbase-2.3.5-client-bin.tar.gz
jdk-11.0.10_linux-x64_bin.tar.gz
kafka_2.12-2.6.2.tgz
mysql-5.7.33-el7-x86_64.tar.gz
redis-6.2.3.tar.gz
spark-2.4.8-bin-hadoop2.7.tgz