本文介绍了如何通过批量处理技术，将大量文本数据划分为更小、更易于管理的部分，利用哈希映射进行词频统计，并最终筛选出高频词汇进行归并与排序。这一过程涉及了数据切分、哈希映射、词频统计等关键步骤，旨在提高文本数据处理的效率与准确性。
1）顺序读取文件，对其中每个词x，计算hash(x)%5000，根据得到的hash值我们可以将词存入到5000个小文件中（记为），如果其中有文件的大小大于1M，则继续按相同的方法进行切分。直到所有的小文件的大小都小于1M。
2）对于每个小文件，使用hash_map统计其中出现的每个词以及其出现的频率，然后挑选出出现频率最大的前100个词，并将该100个词及其相应的频率存入新的文件中。
3）这样能得到5000个新的文件，然后将这5000个新的文件根据词对词频进行归并，再排序，挑选出词频最大的前100个词。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
