spark 调用saveAsTextFile 报错NullPointerException

转载 2016年08月29日 11:01:26

解决方法:1.http://www.cnblogs.com/likai198981/p/4123233.html

                    2.http://www.myexception.cn/cloud/1976385.html

                    3.http://www.tuicool.com/articles/qy2iaai


写了很简单的一段spark代码,将结果保存为windows本地文件,执行之后总是报错NullPointerException

查询之后 发现是本地缺少hadoop需要的一个文件所致

如果本地已经安装了hadoop 一般不会有此问题 如果不愿安装 可按照下述方法解决

1)下载需要的文件 winutils.exe

http://social.msdn.microsoft.com/Forums/windowsazure/en-US/28a57efb-082b-424b-8d9e-731b1fe135de/please-read-if-experiencing-job-failures?forum=hdinsight

2) 将此文件放置在某个目录下,比如C:\winutils\bin\中。

3)在程序的一开始声明:System.setProperty("hadoop.home.dir", "c:\\winutil\\")


spark saveAsTextFile保存到文件

spark的saveAsTextFile方法只能指定文件夹,但是保存到本地的话,会报空指针错误。 代码如下: public static void mySaveAsFile(){         Sp...
  • fjr_huoniao
  • fjr_huoniao
  • 2016-05-03 23:26:45
  • 16465

spark stream中的dstream对象saveAsTextFiles问题

利用spark streaming从kafka读取数据,进行流数据的统计分析,最后产生dstream类型的结果集,但是涉及到数据的保存时,遇到了一点小障碍。 我们都知道,spark中普通rdd可以直...
  • learneraiqi
  • learneraiqi
  • 2015-09-19 12:41:17
  • 4358

一般报java.lang.NullPointerException的原因有以下几种

一般报java.lang.NullPointerException的原因有以下几种: ·字符串变量未初始化; ·接口类型的对象没有用具体的类初始化,比如: List lt; 会报错 L...
  • zwhfyy
  • zwhfyy
  • 2006-07-06 16:56:00
  • 506465

Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile

saveAsTextFile def saveAsTextFile(path: String): Unit def saveAsTextFile(path: String, codec: Class...
  • u012102306
  • u012102306
  • 2016-07-22 12:18:13
  • 5092

spark中saveAsTextFile如何最终生成一个文件

原文地址:http://www.cnblogs.com/029zz010buct/p/4685173.html --------------------------------------------...
  • zengmingen
  • zengmingen
  • 2017-05-15 22:46:18
  • 545

Spark应用连接HBase报NullPointerException

Spark应用没有问题,但是提交以后一直报NullPointerException, 请仔细检查jar包,我的spark应用要连接HBase-0.98,但是classpath有HBase-0.94和p...
  • q79969786
  • q79969786
  • 2015-03-30 16:50:27
  • 975

win7 spark运行本地程序文件出错 error:avaSparkContext. : java.lang.NullPointerException

系统:win7 x64 Spark版本:spark-1.3.0-bin-hadoop2.4 编写了名为“SimpleApp.py”的Spark本地执行文件,内容如下: """SimpleApp.p...
  • jk123vip
  • jk123vip
  • 2015-11-04 17:54:50
  • 639

Spark saveAsTextFile

当我运行完一个Spark程序想把结果保存为saveAsTextFile, 结果使用hadoop fs -ls la /qy/151231.txt后发现里面有一系列的part,好几千个。 原因: ...
  • power0405hf
  • power0405hf
  • 2016-01-27 19:24:01
  • 6627

Spark存储与读取文件方法小结

一:Spark中常常面临这RDD的存储问题,记录一下常常面临的几种情况。saveAsObjectFile, SequenceFile, mapFile, textFile我就不说了。 首先:在写文件的...
  • linluyisb
  • linluyisb
  • 2015-01-05 16:23:32
  • 8292

Windows下Spark-mlib保存模型到本地报空指针解决方案

一、问题描述 在windows下用Spark mlib跑机器学习模型时,保存模型到本地,出现空指针异常。代码如下: import org.apache.spark.mllib.classifi...
  • chenxiao_ji
  • chenxiao_ji
  • 2016-08-26 19:01:28
  • 2690
收藏助手
不良信息举报
您举报文章:spark 调用saveAsTextFile 报错NullPointerException
举报原因:
原因补充:

(最多只允许输入30个字)