Mapreduce
文章平均质量分 74
Binder?
这个作者很懒,什么都没留下…
展开
-
MapReduce_Join示例
Join示例:需求:两个文件student_info.txt和student_class_info.txtstudent_info.txt:Amy 00001Tom 00002Binder 00003student_class_info.txt00001 Chinese00002 Math00003 English要求输出:Amy Chi原创 2016-11-13 10:51:31 · 337 阅读 · 0 评论 -
Mapreduce_WritableComparable自定义示例
通过override compareTo()方法来实现自定义排序规则代码如下:package com.xfyan.MR.one;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Text;import org.apach原创 2016-11-13 11:08:40 · 487 阅读 · 0 评论 -
MapReduce_TotalSort示例
示例代码:package com.xfyan.four;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.apache.hadoop.m原创 2016-11-13 11:23:19 · 248 阅读 · 0 评论 -
MapReduce_SecondarySort示例
示例代码:package com.xfyan.three;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache原创 2016-11-13 11:25:15 · 303 阅读 · 0 评论 -
Hadoop性能调优
一.操作系统调优1.避免使用swap分区2.调整内存分配策略系统内核根据vm.overcommit_memory的值来决定分配策略,值为0,1,2。0表示内核将检查是否有足够的可用内存供应用进程使用,如果有则申请允许,否则内存申请失败1表示内核允许分配所有的物理内存,而不管内存的内存状态如何2表示内核允许分配超过所有物理内存和交换空间的总和,通过vm.overcommit_原创 2016-11-15 16:34:36 · 493 阅读 · 0 评论