Spark的常见问题解析

1.输入这句话可以成功：①scala> val lines = sc.textFile("file:///home/hyxy/README.md")

但是输入：②scala> lines.count      为什么会报错抛异常呢？
Caused by: java.io.FileNotFoundException: File file:/home/hyxy/README.md does not exist
  at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:611)
  at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:824)
答：1）这是第一个需要注意的地方：因为①属于延迟加载，就是写公式但不读数据；只有进行聚集、聚合等运算的时候才会加载数据，如②这种求总数这种情况 就会加载数据

        2）第二个需要注意的地方：就是要保证集群模式下都有数据，（前提条件是我是用spark On Yarn的方式提交的)然而我只有master有这个README.md文件而其他集群节点没有，所以才会报错，可见RDD的并发执行的，在集群上当worker和需要处理的数据不在一个节点上，他会拉取数据