在 Windows 系统下,IDEA 执行spark报错:
1 . scala.Product.$init$(Lscala/Product;)V
原因: 本地scala版本与pom文件配置版本号不一致
解决:下载安装对应的版本。
网址:https://www.scala-lang.org/
2. java.io.IOException: Could not locate executable D:\hadoop-3.2.0\hadoop-3.2.0\bin\winutils.exe in the Hadoop binaries
原因:不能定位到winutils.exe,在hadoop中
windos下运行报错,hadoop的bin文件夹下缺少winnutils.exe,hadoop.dll,linux下不需要winnutils.exe,hadoop.dll文件。
解决:下载对应版本的两个文件,放到安装目录bin下。
hadoop下载很慢,附带hadoop,网盘下载资源:
链接:https://pan.baidu.com/s/1F_dp4lsplxsGSkdWb8FGIg?pwd=qsxz
提取码:qsxz