ETL学习-IDEA配置（java、maven）、IDEA连接（Hadoop、yarn、Spark）

一、准备：项目前期已配置好环境及必需软件

        项目前期的准备工作可参照：ETL学习-软件安装（Tomcat、Nginx、Hadoop、Zookeeper）        自启动管理：ETL学习-软件自启动管理（nginx、tomcat、zookeeper、root用户免密连接）

二、IDEA配置java环境

        使用IntelliJ IDEA 配置JDK（入门）

三、IDEA配置Maven环境

        使用IntelliJ IDEA 配置Maven（入门）

四、Spark集群搭建

        Hadoop集群+Spark集群搭建（一篇文章就够了）和Spark-3.1.1单机安装教程

 五、IDEA中Big Data Tools插件连接Hadoop、yarn和Spark

        Big Data Tools完整攻略，一键连接Hadoop（包含连接yarn和Spark），其中修改yarn默认端口

六、Java提交作业到Hadoop集群

        大数据 - Java实现提交作业到Hadoop集群

七、Tips

        可在系统中新建文件存储各个软件端口号和路径

八、大数据学习笔记