今天跟同学讨论发现一个很菜鸟好玩的东西
scala调用Java的写入方法时只能写入本地文件,不能写入HDFS等分布式文件系统中,导致不同程序间很难访问到同一个文件除非在脚本中加入HDFS的上传文件命令。
所以scala写入HDFS大体就两种方法:dataframe or RDD
今天跟同学讨论发现一个很菜鸟好玩的东西
scala调用Java的写入方法时只能写入本地文件,不能写入HDFS等分布式文件系统中,导致不同程序间很难访问到同一个文件除非在脚本中加入HDFS的上传文件命令。
所以scala写入HDFS大体就两种方法:dataframe or RDD