scala从服务器读取文件,scala – 使用ftp在Apache Spark中的远程计算机上读取文件

我正在尝试使用ftp在Apache Spark(

Scala版本)中的远程计算机上读取文件.目前,我在

GitHub上关注Databricks的Learning Spark回购中的一个例子.使用curl,我可以下载文件,因此我使用的路径存在.

下面是我尝试执行的代码片段：

var file = sc.textFile("ftp://user:pwd/192.168.1.5/brecht-d-m/map/input.nt")

var fileDF = file.toDF()

fileDF.write.parquet("out")

在尝试对数据帧执行计数后,我得到以下stacktrace(http://pastebin.com/YEq8c2Hf)：

org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute,tree:

TungstenAggregate(key=[],functions=[(count(1),mode=Final,isDistinct=false)],output=[count#1L])

+- TungstenExchange SinglePartition,None

+- TungstenAggregate(key=[],mode=Partial,output=[count#4L])

+- Project

+- Scan ExistingRDD[_1#0]

...

Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: ftp://user:pwd@192.168.1.5/brecht-d-m/map/input.nt

我会假设该文件无法访问,但这与我能够通过curl检索文件相矛盾：

curl ftp://user:pwd@192.168.1.5/brecht-d-m/map/input.nt

这将打印出终端上的特定文件.我没有看到我在Scala代码中做错了什么.我在上面给出的代码片段中是否有错误,或者该代码是完全错误的？

提前致谢,

布莱希特

注意：

>指定整个路径(/home/brecht-d-m/map/input.nt)也不起作用(正如预期的那样,因为这在curl中也不起作用;“服务器拒绝您更改到给定目录”).在Spark中尝试这个,给出了不支持seek的IOException(http://pastebin.com/b9EB9ru2).

>在本地工作(例如sc.textFile(“/ home / brecht-d-m / map / input.nt”))完美无缺.

>对于所有用户,特定文件的文件权限设置为R W.

>文件大小(15MB)不应该是一个问题,它应该能够处理更大的文件.

>软件版本：Scala 2.11.7,Apache Spark 1.6.0,Java 1.8.0_74,Ubuntu 14.04.4