1.windows配置Hadoop环境
- 下载Hadoop安装包,https://hadoop.apache.org/releases.html,点击binary即可,下载下来的是归档压缩文件,直接解压
- 环境配置,
- 常见错误,如果Java安装文件夹是默认的C盘文件夹,会因为权限不够无法访问,此时可以将D:\Hadoop\hadoop-2.10.1\etc\hadoop\hadoop-env.cmd里的Java环境变量改掉
- bin文件夹下要添加winutils.exe,不然spark项目能编译成功但会报错
2.spark所需依赖
- 主要 spark依赖
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.3.2