- 博客(4)
- 收藏
- 关注
RSS订阅原创 MR源码学习（三）
job.setOutputFormatClass(TextOutputFormat.class);学习MR的输出过程，依然是从上面的代码作为入口，默认的输出格式是TextOutputFormat类。先不看TextOutputFormat类，看他最顶级的父类OutputFormat/** * OutputFormat describes the output-specification for
2015-12-14 16:12:05
443
原创 HDFS(3)
1.继续研究HDFS写操作的源码过程，客户端通过DistributedFileststem中的create方法创建文件。结构与上一篇读文件的操作类似，会执行FileSystemLinkResolver的resolve方法，即调用docall方法。public FSDataOutputStream doCall(final Path p) throws IOException
2015-12-10 16:07:14
386
原创 HDFS(2)
HDFS中读文件过程，如上图所示。1.打开一个分布式文件系统，也就是API中的filesystem.get()方法，获得一个文件系统实例。2.通过fs的open方法，fs会通过RPC来调用nn，通过方法传入的文件名称，会在nn中得到blocksequence中的一批block信息。3.
2015-12-08 19:06:29
392
原创 HDFS（1）
HDFS中，主要有namenode与datanode节点。其中，namenode节点主要保存数据的元数据信息，datanode保存数据本身。对于 namenode而言，hdfs中只有一个namenode节点，所以namenode至关重要，也就有了namenode的HA研究。nn中具体保存fsimage和edits两种文件，文件位置在hdfs-site.xml中dfs.namenode.name.d
2015-12-07 14:34:21
262
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人