spark的读取方法textFile和wholeTextFiles

 

sc.textFiles(path) 能将path 里的所有文件内容读出，以文件中的每一行作为一条记录的方式，

文件的每一行 相当于 List中以 “,”号 隔开的一个元素，

而使用 sc.wholeTextFiles()时:
返回的是[(K1, V1), (K2, V2)...]的形式，其中K是文件路径，V是文件内容，这里我们要注意的重点是：
官方一句话：''Each file is read as a single record'' 这句话，每个文件作为一个记录！这说明这里的 V 将不再是 list 的方式将文件每行拆成一个 list的元素,
而是将整个文本的内容以字符串的形式读进来，也就是说val = '...line1...\n...line2...\n'
这时需要你自己去拆分每行！而如果你还是用for i in val的形式来便利 val那么i得到的将是每个字符.