MapReduce
文章平均质量分 61
hongmofang10
这个作者很懒,什么都没留下…
展开
-
MapReduce split和block的关系
block是物理上的划分,hadoop 2.x中block的大小默认为128M,每一个文件都会被切分成多个block。只是一种逻辑上划分,目的是为了让Map Task更好的获取数据输入。例子:如何计算map数量?假设有两个文件,block数如下:File 1 : Block11, Block 12, Block 13, Block 14, Block 15File 2 : Block21, Block 22, Block 23totalSize = 8(总的block数量)设置的并行度为2,那原创 2021-06-25 00:39:06 · 1880 阅读 · 0 评论 -
MapReduce设置输出路径 Job类型参数格式错误
首先把错误描述一下:设置MapReduce的输出路径,但是IDEA报错,然看后发现setOutputPath()的第一个参数应该是JobConf型,但是我们的job是Job型。网上说是导入的包版本老的原因解决方案:需要进行强制转换即可。PS:不知道为什么只有FileOutputFormat.setOutputPath()参数类型变了,FileInputFormat.setInpu...原创 2019-03-14 17:25:03 · 659 阅读 · 0 评论