Hadoop
文章平均质量分 79
quikKnower
这个作者很懒,什么都没留下…
展开
-
Hadoop自定义排序和自定义数据类型使用(setSortComparatorClass和setGroupingComparatorClass)
1 Mapperpublic class SortMapper extends Mapper{ public TextInt textInt = new TextInt(); public IntWritable intp = new IntWritable(0); @Override protected void map(Object key, Text value,原创 2014-03-31 20:33:24 · 5579 阅读 · 1 评论 -
Hadoop基于WordCount的Mapper、Reducer、Combiner、Partitioner和自定义多文件输出
1 Mapper的代码public class WorldMapper extends Mapper{ public Text textvalue = new Text("test"); public IntWritable intwrite = new IntWritable(1); @Override protected void map(Object key, Tex原创 2014-03-31 16:23:50 · 1340 阅读 · 0 评论 -
Hadoop中HDFS和MapReduce的概念和机制
0 搭建平台时的思考1 在启动CentOS时候,DHCP识别不到网络ip,可以将虚拟机可移动设备将网卡选择先不连接,进入OS后,再打开。 http://blog.csdn.net/old_imp/article/details/87447722 设置静态IP或者动态IP文件(/etc/resolv.conf、/etc/sysconfig/network-scripts/ifcf原创 2014-03-23 16:31:47 · 1448 阅读 · 0 评论 -
Hadoop C++单词统计
转自:http://www.pluscn.net/?p=789Hadoop 提供了两种方式来运行C++程序, Hadoop流和Pipes.流方式:1、 首先编写map程序(map.cpp)#include #include using namespace std;int main(){ string line; while(cin>转载 2014-03-23 21:51:02 · 909 阅读 · 0 评论