![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
mapreduce
文章平均质量分 77
Blossomy
这个作者很懒,什么都没留下…
展开
-
ArrayWritable实例
概述作用Array类构造示例Array类使用示例作用类似于java的动态数据ArrayList,可以在不知有多少数据量的情况下,动态向里面加数据Array类构造示例数组里添加很多歌Text,类似于ArrayListpublic class CookieArray extends ArrayWritable{ public CookieArray(原创 2013-01-07 18:21:20 · 3680 阅读 · 0 评论 -
多线程map
概述作用应用场景效果代码示例作用想在 map 或 reduce 里启动多线程应用场景map reduce 端 cpu 型作业效果公司原来一个 cpu 型算法作业,20 台服务器 以前运行需 55 个小时左右,改用我自己改进的多线程后,同样的前提条件,只须运行 7 小时代码示例多线程map 示例代码自带的 多线程map原创 2013-01-08 15:23:58 · 1557 阅读 · 0 评论 -
mapreduce编程过程
概述流程图默认类wordcount完整示例流程图mapreduce完整流程默认类和上边流程图里的类对应inputformatTextInputFormatrecordreaderLineRecoredReaderinputSplitFileSplitMap不知道combi原创 2013-01-07 19:37:51 · 1714 阅读 · 0 评论 -
mapreduce分布式缓存
概述作用应用场景示例作用将hdfs中的文件copy到本地map/reduce程序端,供map/reduce端代码使用应用场景大文件与小文件合并操作,如大文件10G,小文件10M,并且输入格式可以完全不一样示例主函数端代码public static void main(String[] args) throws Exception {原创 2013-01-07 16:05:58 · 692 阅读 · 0 评论