关闭

spark 调用saveAsTextFile 报错NullPointerException

620人阅读 评论(0) 收藏 举报

解决方法:1.http://www.cnblogs.com/likai198981/p/4123233.html

                    2.http://www.myexception.cn/cloud/1976385.html

                    3.http://www.tuicool.com/articles/qy2iaai


写了很简单的一段spark代码,将结果保存为windows本地文件,执行之后总是报错NullPointerException

查询之后 发现是本地缺少hadoop需要的一个文件所致

如果本地已经安装了hadoop 一般不会有此问题 如果不愿安装 可按照下述方法解决

1)下载需要的文件 winutils.exe

http://social.msdn.microsoft.com/Forums/windowsazure/en-US/28a57efb-082b-424b-8d9e-731b1fe135de/please-read-if-experiencing-job-failures?forum=hdinsight

2) 将此文件放置在某个目录下,比如C:\winutils\bin\中。

3)在程序的一开始声明:System.setProperty("hadoop.home.dir", "c:\\winutil\\")


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:10599次
    • 积分:157
    • 等级:
    • 排名:千里之外
    • 原创:1篇
    • 转载:28篇
    • 译文:0篇
    • 评论:0条
    文章分类