【CC】Hadoop2.7.1 mapreduce in c++ 词频统计

最新推荐文章于 2021-02-23 16:29:12 发布

普通读者

最新推荐文章于 2021-02-23 16:29:12 发布

阅读量1.2k

点赞数 1

分类专栏：學習筆記文章标签： hadoop

本文链接：https://blog.csdn.net/guguant/article/details/70148002

版权

本文介绍了如何在Ubuntu上部署Hadoop2.7.1，并通过C++实现MapReduce进行词频统计。详细步骤包括单机部署Hadoop、编写Map和Reduce阶段的C++代码、编译、运行Shell命令以及查看结果。使用《Harry Potter and The Chamber of Secrets.txt》作为输入文件，展示了Top 20的单词统计结果。

摘要由CSDN通过智能技术生成

在ubuntu上部署Hadoop

单机部署：http://www.powerxing.com/install-hadoop/
集群部署：http://www.powerxing.com/install-hadoop-cluster/

例子

参考: http://www.cnblogs.com/dplearning/p/4207931.html
使用 hadoop streaming 实现 c++ 编写 mapeduce

Map in c++

//wordcount_map.cpp
#include <iostream>
#include <string>

using namespace std;

int main(int argc, char** argv)
{
  string word;
  while (cin >> word)
  {
    cout << word << "\t" << "1" << endl;
  }