map/reduce的简单实现

   Google作为云计算概念的提出者选择Map/Reduce作为其处理海量数据的架构，Hadoop的跟进更使Map/Reduce深入人心。

Map/Reduce操作代表了一大类的数据处理操作方式，为了让大家对Map/Reduce的工作过程有一个直观的了解，用c语言实现了一个简单的Map/Reduce计算。计算从控制台输入的字符串中单词的计数，这一计算过程都是在同一个节点上完成的，并没有实现计算的并行化，这个例子只是简单的实现。

// #include "stdafx.h" #include <stdio.h> #include <iostream> #include <stdlib.h> using namespace std; #define BUF_SIZE 2048 //map函数，输入参数为字符串指针buffer，map后的结果通过mapbuffer参数传出 //函数返回值为字符串中单数个数 int my_map(char *buffer,char(*mapbuffer)[100]) { char *p; int num=0; if(p=strtok(buffer," ")){ strcpy(mapbuffer[num],p); num++; } else { return num; } while(p=strtok(NULL," ")) { strcpy(mapbuffer[num],p); num++; } return num; } //函数，输入参数为字符串map后的结果mapbuffer和单数个数num //结果通过reducebuffer和count参数传出 //函数返回值为reduce的结果个数 int my_reduce(char (*mapbuffer)[100],char (*reducebuffer)[100],int *count,int num) { int i,j; int flag[BUF_SIZE]={0}; char tmp[100]; int countnum=0; for(i=0;i<num;i++) { if(flag[i]==0){ strcpy(tmp,mapbuffer[i]); flag[i]=1; strcpy(reducebuffer[countnum],mapbuffer[i]); count[countnum]=1; for (j=0;j<num;j++) { if ((memcmp(tmp,mapbuffer[j],strlen(tmp))==0)&&(strlen(tmp)==strlen(mapbuffer[j]))&&(flag[j]==0)) { count[countnum]++; flag[j]=1; } } countnum++; } } return countnum; } int _tmain(int argc, _TCHAR* argv[]) { char buffer[BUF_SIZE];//定义存储字符串的缓冲区 char mapbuffer[BUF_SIZE][100];//定义储存map结果的缓冲区 char reducebuffer[BUF_SIZE][100];//定义存储reduce结果的缓冲区 int count[BUF_SIZE]={0};//定义每个单词计数数组 int num=0;//单词个数 int i; int countnum;//归约后的结果数 fgets(buffer,BUF_SIZE-1,stdin); buffer[strlen(buffer)-1]='/0'; num=my_map(buffer,mapbuffer); printf("This is map results:/n"); for (i=0;i<num;i++) { printf("

 

本实例参考于王鹏著作《云计算的关键技术与应用实例》。