Spark 采坑系列（一） 集群环境读取本地文件的坑

2019独角兽企业重金招聘Python工程师标准>>>

Spark 采坑系列

今天在网上看了一个例子，Spark启动后读取文件并计算的例子，自己在按照网上方法使用的时候意外菜了坑。

首先，我将3台虚拟机的Spark集群以及Hadoop集群启动。

然后我在其中一个服务器上编辑了一个文本，命名sparkFirst，内容如下：

hello spark

hello world

hello spark!

 

保存后，存在了其中一台服务器上，然后我开始试验：

首先，执行spark的控制台命令spark-shell

 

然后，读取文本，并执行计算行数的命令，结果报错：

scala> val lines=sc.textFile("/opt/soft/hadoop/sparkFirst")

lines: org.apache.spark.rdd.RDD[String] = /opt/soft/hadoop/sparkFirst MapPartitionsRDD[1] at textFile at <console>:24

 

scala> lines.count()

报错如图

 

然后开始上网找原因，网上说如果Spark采用集群模式读取本地文件，必须保证每个集群下都有相同的问题件，否则就会报找不到文件的错误：

WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, 192.168.194.130, executor 1): java.io.FileNotFoundException: File file:/opt/soft/hadoop/sparkFirst does not exist

并且，很多人建议采用hdfs的方式加载文件，这样就不会出现刚才的问题了，好用并且高大上。既然这样，我们就来试一试，把刚才的文件上传到hdfs中：

 

我们将sparkFirst 文件上传到了hdfs的根目录（注意最后的 .），然后我们将加载文件的路径改为hdfs路径并再次尝试。

 

最后成功！

转载于:https://my.oschina.net/u/3687664/blog/2876013