sc.textFile() 路径问题
已知
这里我看 黑马中的Pyspark ,读取本地文件可以直接使用 相对路径 成功
sc.textFile("相对路径")
但是我这样使用就报路径错误
- 不加 file:/// 就默认HDFS读取
- 加了file:/// 就只能使用绝对路径读取
最后 只能这样 还是绝对路径
from pathlib import Path
FILE = Path(__file__).resolve()# .py 绝对路径
ROOT = FILE.parents[1]# 工程文件路径
file_rdd = sc.textFile(f"file:///{ROOT}/data/XXX.txt")
不知道有没有什么方法 直接使用相对路径