spark程序对hadoop环境的依赖,导致checkpoint失败问题的解决
问题解决方法:
在spark程序开始执行的时候,设置hadoop.home.dir程序环境变量,也就是添加如下语句:
System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.1");
链接:https://pan.baidu.com/s/1dHYcnf-1Pe2BJRjhff6nPA
提取码:dyfo
问题原因:虽然checkpoint到本地目录,但是在spark的底层调用里面还是用到了hadoop的api,hadoop的api里面用到了hadoop.home.dir环境变量,程序又没有指定,所以报错了。
System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.1");