【图文详细 】HDFS面试题：有一个很大的文件，内存装不下，如何实现去重?

对文件的每一行计算hash值，按照hash值把该行内容放到某个小文件中，假设需要分成100个小文件，则可以按照（hash % 100）来分发文件内容，然后在小文件中实现去重就可以了。