spark读取jar中txt文件报错文件找不到

spark任务中使用Source.fromFile(filename)报错，而使用getClass.getClassLoader.getResourceAsStream(filename)读取文件没有报错

答：这个问题可能是因为 Source.fromFile(filename) 方法的参数 filename 是相对于当前 working directory 的路径，而并不是相对于 classpath 的路径。而在 Spark 任务中，working directory 可能不是执行 jar 包的位置，因此可能找不到该路径下的文件。

相比之下，getClass.getClassLoader.getResourceAsStream(filename) 方法接收的是 classpath 下文件的相对路径，因此可以在 jar 包中正确地读取文件内容。因此，如果您需要在 Spark 任务中读取 jar 包内的文件，建议使用 getClass.getClassLoader.getResourceAsStream(filename) 方法。如果一定需要使用 Source.fromFile(filename)，可以将 filename 参数替换为绝对路径，例如：

import java.io.File
import scala.io.Source

val file = new File("/absolute/path/to/my_file.txt")
val lines = Source.fromFile(file).getLines.toSeq
需要注意的是，绝对路径在不同的机器上可能不同，因此这种方法并不可移植。建议仅在开发和测试环境中使用这种方法。