Hadoop
浮夸生 Easonら
这个作者很懒,什么都没留下…
展开
-
hadoop之数据分片(split)详解以及map数量控制
1.分片(splits)相关概念 由InputFormat这个接口来定义的,其中有个getSplits方法。这里有一个新的概念:fileSplit。每个map处理一个fileSplit,所以有多少个fileSplit就有多少个map(map数并不是单纯的由用户设置决定的)。 我们来看一下hadoop分片splits的源码: long goalSize = totalSize / (numSplit...转载 2019-04-14 20:25:54 · 1240 阅读 · 0 评论 -
hdfs读写流程
hdfs写文件流程 1、调用客户端对象DistributedFileSystem的create()方法 2、DistributedFileSystem向NameNode发送一个RPC连接,请求创建一个文件,不包含Block块的请求,NameNode会进行各种检查,确保文件不存在,并且客户端有创建的权限,通过检查后,在edits log中创建文件,否则创建失败客户端抛异常IOException 3...原创 2019-04-28 19:33:46 · 154 阅读 · 0 评论