hadoop
文章平均质量分 82
黄晓萌
新一代分布式任务调度Schedulerx2.0的发起者
展开
-
借助hadoop streaming,使用C++编写MapReduce程序
#g++ Mapper.cpp -o Mapper #g++ Reducer.cpp -o Reducer hadoop streaming是一个hadoop的工具,可以使用户使用其他语言编写mapreduce程序,用户只需要提供Mapper和Reducer,就可以执行Map/Reduce作业 相关资料请看hadoop streaming官方文档 1、下面以实现WordCount为例原创 2013-09-16 14:29:29 · 1821 阅读 · 0 评论 -
Linux下使用eclipse调试hadoop程序
1、准备工作 首先下载一个hadoop的稳定版本,我使用的是hadoop-1.1.2 下载jdk1.6 下载ant,我使用的是apache-ant-1.9.2 安装eclipse 2、创建hadoop工程,修改配置 解压hadoop-1.1.2.tar到一个指定文件夹 新建一个java project,选择hadoop-1.1.2文件夹即可 修改conf文件夹下几个xml的原创 2013-09-10 15:31:53 · 1063 阅读 · 0 评论