MapReduce
Description
MapReduce是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(归纳)”,及他们的主要思想,都是从函数式编程语言借来的,还有从矢量编程语言借来的特性。下面我们要实现一个词频统计的MapReduce Worker,通俗来说就是统计一段文本中各个单词出现的次数。
MapReduce包括两部分:Map任务和Reduce任务。
Map任务:给定一段文本,对于其每一个单词逐一映射为key为该单词,value为字符串"1"的键值对,并按出现顺序逐个输出键值对
Reduce任务:给定一个键值对序列,将相同的key的value值相加,并将其按key从小到大输出键值对
Note: 单词的分割标准为空格分隔
Input 第一行包括字符串task—— 代表任务类型,有Map和Reduce两种。
若为Map任务,第二行包括一行字符串text(0 < |text| <= 1e7) ——一段需要处理的文本。
若为Reduce,第二行包括整数n (0 < n <= 1e5)—— 键值对序列长度,第3到n+3行输入键值对key和value(0 <=
|key| <= 1e5, 0<=value<=1000) —— 要处理的键值对序列。 有多组样例,请处理到文件结尾。键值对格式为key value。
保证正常运算过程中int类型不溢出。
Output 对于Map任务,输出文本后中每个单词映射的键值对的key和value。
对于Reduce任务,输出排序后的键值对的key和value。 键值对格式为key value。每个样例间用空行分割。
Sample Input 1
Map
This is a MapReduce problem inspired by MapReduce
Reduce
8
This 1
is 1
a 1
MapReduce 1
problem 1
inspired 1
by 1
MapReduce 1
Sample Output 1
This 1
is 1
a 1
MapReduce 1
problem 1
inspired 1
by 1
MapReduce 1
MapReduce 2
This 1
a 1
by 1
inspired 1
is 1
problem 1
思路
用STL中的map 模拟这个过程
题解
#include<iostream>
#include<cstdio>
#include<cmath>
#include<map>
#include<algorithm>
#include<queue>
#include<string>
using namespace std;
#define ll long long
const int Len = 1e6 + 5;
int n,m;
string s[Len];
map<string, int> mp;
string st;
int main()
{
ios::sync_with_stdio(false); cin.tie(0);
//freopen("T.txt","r",stdin);
while(cin >> st)
{
if(st == "Map")
{
int k = 0;
while(cin >> s[k])
{
if(s[k] == "Reduce")
{
cout << endl;
goto lab;
}
cout << s[k] << " " << 1 <<endl;
}
cout << endl;
}
else
{
mp.clear();
lab:;
int n;
cin >> n;
int val;
for(int i = 1; i <= n; i ++)
cin >> st >> val, mp[st] += val;
for(auto x : mp)
{
cout << x.first << " " << x.second <<endl;
}
cout << endl;
mp.clear();
}
}
return 0;
}