spark 调用saveAsTextFile 报错NullPointerException

转载 2016年08月29日 11:01:26

解决方法:1.http://www.cnblogs.com/likai198981/p/4123233.html

                    2.http://www.myexception.cn/cloud/1976385.html

                    3.http://www.tuicool.com/articles/qy2iaai


写了很简单的一段spark代码,将结果保存为windows本地文件,执行之后总是报错NullPointerException

查询之后 发现是本地缺少hadoop需要的一个文件所致

如果本地已经安装了hadoop 一般不会有此问题 如果不愿安装 可按照下述方法解决

1)下载需要的文件 winutils.exe

http://social.msdn.microsoft.com/Forums/windowsazure/en-US/28a57efb-082b-424b-8d9e-731b1fe135de/please-read-if-experiencing-job-failures?forum=hdinsight

2) 将此文件放置在某个目录下,比如C:\winutils\bin\中。

3)在程序的一开始声明:System.setProperty("hadoop.home.dir", "c:\\winutil\\")


相关文章推荐

spark saveAsTextFile保存到文件

spark的saveAsTextFile方法只能指定文件夹,但是保存到本地的话,会报空指针错误。 代码如下: public static void mySaveAsFile(){         Sp...

关于java中向数据库中插入数据时,报错Caused by: java.lang.NullPointerException的问题

今天在实现一个update数据时出现一个错误; org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.i...

android JPushInterface.setAlias 报错 java.lang.NullPointerException: Attempt to invoke virtual method

报错内容: 06-20 16:47:49.519: E/AndroidRuntime(21018): java.lang.RuntimeException: Unable to start activ...

JAVA类对象的数组报错Exception in thread "main" java.lang.NullPointerException

今天学了JAVA对象的数组。数组元素可以是任意类型的数据,因此尝试使用自己构建的数据类型的数组。 一开始对这个概念不怎么理解,代码是这样的 public class HelloWorl { pu...

spark算子flatMap与textFile、saveAsTextFile结合小案例

spark算子flatMap、textFile、savaAsTextFile

spark RDD算子(十一)之RDD Action 保存操作saveAsTextFile,saveAsSequenceFile,saveAsObjectFile,saveAsHadoopFile 等

关键字:Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsTextFile、saveAsSequenceFile、saveAsObjectFi...

【Spark Java API】Action(6)—saveAsTextFile、saveAsObjectFile

spark java api...

Spark代码3之Action:reduce,reduceByKey,sorted,lookup,take,saveAsTextFile

Spark代码3之Action:reduce,reduceByKey,sorted,lookup,take,saveAsTextFile 代码: package LocalSpark /** *...

Hive On Spark报错:Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Iterable

解决Hive On Spark 报错Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Iterab...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)