windows环境下本地运行spark程序

最新推荐文章于 2022-10-17 16:42:41 发布

fengzhaodi

最新推荐文章于 2022-10-17 16:42:41 发布

阅读量4.6k

点赞数

本文链接：https://blog.csdn.net/fengzhaodi/article/details/72722000

版权

本文介绍了在Windows环境中使用Eclipse调试Spark程序时的关键步骤，特别强调了需要设置'spark.sql.warehouse.dir'配置以避免路径错误，确保程序正常运行。

摘要由CSDN通过智能技术生成

在eclipse中调试spark程序需要注意两点，第一是要配置config('spark.sql.warehouse.dir', 'file:///C:/path/to/my/')不然会报错：

IllegalArgumentException: 'java.net.URISyntaxException: Relative path in absolute URI: file:/C:/path//to/my/file/spark-warehouse'；第二是要需要配置环境变量，不然会报Failed to locate the winutils binary in the hadoop binary path。解决方法如下：下载 https://github.com/srccodes/hadoop-common-2.2.0-bin中项目 ，压到一个目录中；添加用户变量HADOOP_HOME，值是下载的zip包解压的目录，然后在系统变量path里增加$HAD