2018/03/19
mapreduce的这个过程,其读取文件的,或者说,脚本运行读取本地文件的问题已经解决了,但是有一个比较关键的问题,就是我怎么样保存这个文件,能用脚本的读写文件方式去写吗?
我感觉写到本地的可能性估计不大,只能说去写到HDFS上面,这个倒是可能的,而且多个map或者reduce脚本必然是要写到不同的文件里面,这就涉及去取自己的ID等信息的问题。
mapreduce中间文件的存储
最新推荐文章于 2022-04-07 15:18:53 发布
2018/03/19
mapreduce的这个过程,其读取文件的,或者说,脚本运行读取本地文件的问题已经解决了,但是有一个比较关键的问题,就是我怎么样保存这个文件,能用脚本的读写文件方式去写吗?
我感觉写到本地的可能性估计不大,只能说去写到HDFS上面,这个倒是可能的,而且多个map或者reduce脚本必然是要写到不同的文件里面,这就涉及去取自己的ID等信息的问题。