从0 spark本地开发环境搭建(idea)

1、jdk的安装、查看

什么是jdk？ - 知乎

2、maven

Maven安装配置及在idea中配置_iqqcode-CSDN博客_maven安装与配置idea

3、参考

0070 IntelliJ IDEA+Scala+Hadoop +Spark的开发环境搭建_gendlee1991的专栏-CSDN博客_hadoop spark 开发

4、基本软件情况：

（1）jdk: 独立检查、安装，添加环境变量

（2）idea:独立安装

（3）scala:可独立安装，使用其命令行形式，添加环境变量

（4）scala-intellij:在idea中以plugs形式添加进idea中

（5）spark：文件夹，pom中添加spark依赖；

（6）maven:解压到文件夹，idea中build_tools 中配置maven路径，添加环境变量

（7）Hadoop：解压到文件夹，添加环境变量

（8）xgboost/lgbm 等算法：jar包放到项目的lib文件夹中，pom中添加依赖