spark的rdd.saveastextfile可以追加写入hdfs吗

是不能的，现在我来说一下原因，首先spark的任务是并行的，如果你的所有的j任务都往一个文件中追加，那么这些任务都必须去获得会后一行的位置，但是最后一行的位置是只能有一个任务获得的，所以其他任务不可能同时获得最后一行的位置，这个机制就决定了，多个任务不能追加写入同一个文件。如果你把所有数据都聚合到一个节点上，是可以追加到同一个文件，这个场景用的极少。