![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
我真的不想学啦
这个作者很懒,什么都没留下…
展开
-
java.io.IOException: Illegal partition for 18271575951
出现原因: 在进行分区的时候 , 执行代码 出现如下错误: java.lang.Exception: java.io.IOException: Illegal partition for 18271575951 (2) 解决办法:原创 2019-11-28 14:52:27 · 295 阅读 · 0 评论 -
如何自定义InputFormat合并小文件
需求 无论hdfs还是mapreduce,对于小文件都有损效率,实践中,又难免面临处理大量小文件的场景,此时,就需要有相应解决方案 分析 小文件的优化无非以下几种方式: 1、在数据采集的时候,就将小文件或小批数据合成大文件再上传HDFS 2、在业务处理之前,在HDFS上使用mapreduce程序对小文件进行合并 3、在mapreduce处理时,可采用combineInputFormat提高效率 实...原创 2019-11-18 20:05:40 · 187 阅读 · 2 评论 -
MapReduce入门介绍及WordCount代码实现
文章目录1.MapReduce计算模型介绍1.1理解MapReduce思想1.2.Hadoop MapReduce设计构思1.3.MapReduce框架结构2.MapReduce编程规范及示例编写2.1.编程规范2.2.WordCount示例编写3.MapReduce程序运行模式3.1.本地运行模式3.2.集群运行 1.MapReduce计算模型介绍 1.1理解MapReduce思想 MapRed...原创 2019-11-12 22:23:23 · 180 阅读 · 2 评论