经验 - Hadoop中 FileOutputCommitter 与 FileSystem 的关系

关系

FileSystem ：是文件系统

FileOutputCommitter ：是文件输出的规则

文件写用FileSystem ，但怎么写，写到哪里等这些规则，是FileOutputCommitter决定的

扩展性

根据 hadoop 的扩展性，可以扩展hdfs文件系统，AWS 的S3文件系统， Openstack的swift文件系统

所以也可以扩展相应的outputCommitter，作为文件提交

 

OutputCommitter是独立于Hadoop框架，可以由用户自己定制的。Hadoop框架不能保证用户定制代码的稳定性，当然不能让它直接在JobTracker上执行。必须启动一个新的JVM来执 行这些方法，那么正好TaskTracker上已经有这样的逻辑了。

 

consult : Hadoop - OutputFormat中OutputCommitter解析​​​​​​​​​​​​​​