MapReduce实现词频统计

最新推荐文章于 2024-05-11 19:27:04 发布

刀刀流

最新推荐文章于 2024-05-11 19:27:04 发布

阅读量6.5k

点赞数 2

分类专栏：算法文章标签： mapreduce

本文链接：https://blog.csdn.net/rubinorth/article/details/52215354

版权

本文通过MapReduce方法实现词频统计，提供了一个通用的MapReduce模块，并展示了针对词频统计的mapper和reducer代码。使用3个文本文件进行测试，得到了相应的统计结果。虽然该方法简单，但不适用于大数据量的场景，因为它未考虑调度等复杂因素。

摘要由CSDN通过智能技术生成

问题描述：现在有n个文本文件，使用MapReduce的方法实现词频统计。

附上统计词频的关键代码，首先是一个通用的MapReduce模块1：

class MapReduce:
    __doc__ = '''提供map_reduce功能'''

    @staticmethod
    def map_reduce(i, mapper, reducer):
        """
        map_reduce方法
        :param i: 需要MapReduce的集合
        :param mapper: 自定义mapper方法
        :param reducer: 自定义reducer方法
        :return: 以自定义reducer方法的返回值为元素的一个列表
        """
        intermediate = []  # 存放所有的(intermediate_key, intermediate_value)
        for (key, value) in i.items():
            intermediate.extend(mapper(key, value))

        # sorted返回一个排序好的list，因为list中的元素是一个个的tuple，key设定按照tuple中第几个元素排序
        # groupby把迭代器中相邻的重复元素挑出来放在一起,key设定按照tuple中第几个元素为关键字来挑选重复元素
        # 下面的循环中groupby返回的key是intermediate_key，而group是个list，是1个或