Spark 采坑系列
今天在网上看了一个例子,Spark启动后读取文件并计算的例子,自己在按照网上方法使用的时候意外菜了坑。
首先,我将3台虚拟机的Spark集群以及Hadoop集群启动。
然后我在其中一个服务器上编辑了一个文本,命名sparkFirst,内容如下:
hello spark
hello world
hello spark!
保存后,存在了其中一台服务器上,然后我开始试验:
首先,执行spark的控制台命令spark-shell
然后,读取文本,并执行计算行数的命令,结果报错:
scala> val lines=sc.textFile("/opt/soft/hadoop/sparkFirst")
lines: org.apache.spark.rdd.RDD[String] = /opt/soft/hadoop/sparkFirst MapPartitionsRDD[1] at textFile at <console>:24
scala> lines.count()
报错如图
然后开始上网找原因,网上说如果Spark采用集群模式读取本地文件,必须保证每个集群下都有相同的问题件,否则就会报找不到文件的错误:
WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, 192.168.194.130, executor 1): java.io.FileNotFoundException: File file:/opt/soft/hadoop/sparkFirst does not exist
并且,很多人建议采用hdfs的方式加载文件,这样就不会出现刚才的问题了,好用并且高大上。既然这样,我们就来试一试,把刚才的文件上传到hdfs中:
我们将sparkFirst 文件上传到了hdfs的根目录(注意最后的 .),然后我们将加载文件的路径改为hdfs路径并再次尝试。
最后成功!