记录一下个人学习搭建大数据环境的过程及方法。
本篇交代的是搭建的硬件环境:
安装环境
本文档除airflow外其他全部为离线安装包安装;
物理机环境:
--64位Windows10操作系统;
--内存16G;
--256G SSD存储;
--1T 机械硬盘存储;
软件环境:
--安装VMware Workstation Pro虚拟机;
--虚拟机上安装的CentOS 7操作系统 * 3;
--每台分配2G内存
--每台分配40G硬盘存储
用户
本机安装用户除特殊几个外均为root用户,可根据实际需要使用不同用户安装。
安装范围
包含 hadoop,spark,kafka,zookeeper,mysql,python,hive等等。
下一篇开始介绍如何操作安装。
个人学习记录,若有错误,欢迎指正。