python map reduce 并行_单机多线程模拟map reduce可行么？

其实题主问题本质是：

对于多核的单机CPU，如何加快单词数统计速度所以题主的目的是高效地利用多核进行并行计算，至于是类似MR框架的方式实现，还是其他，并不重要？(不知道有没get对题主的point)

如此理解的话，任何一种语言的并行化编程都可以满足要求，不一定非得模拟MR的方式(反正 @xharlie大徐编不停 大神的答案我是看晕了，理解力不够，哭)

正好近期探究了python的 Parallel Python (简称pp) 的并行计算库，而且python处理数据比较便捷，所以在此试着写了一段程序，模拟你要解决的统计问题，希望能帮上你(把代码复制到回答里时，前面的缩进没了题主如果需要的话，自行处理一下哈。囧)

import random as rd

import time

X = [ rd.randint( 1, 9 ) for i in xrange(800000)] # X模拟题主要统计的文本，这里用的是80w个随机生成的1~9之间的整数，统计每个数字出现次数

# 统计数字出现频率

def count_subset(x): # x是X的子集

sub_dict = {}

for i in x:

sub_dict.setdefault(i, 0)

sub_dict[i] += 1

return sub_dict

# 字典合并

def count_all( sub_dict , all_dict):

for key in sub_dict:

all_dict.setdefault( key, 0)

<