- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Map-Reduce过程解析(zz)
Hadoop 学习总结之四：Map-Reduce的过程解析（转载）一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的：public static RunningJob runJob(JobConf job) throws IOException { //首先生成一个JobClient对象 JobClient jc = new JobClient(job); …… //调用submitJob来提交一个
2011-03-06 22:26:00
827
转载 Map-Reduce 入门(zz)
<br />1、Map-Reduce的逻辑过程<br />假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第25位是符号+/-<br />0067011990999991950051507+0000+<br />0043011990999991950051512+0022+<br />0043011990999991950051518-0011+<br />00430126509999919
2011-03-06 22:24:00
525
转载 HDFS简介(zz)
一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。1.2、元数据节点(Namenode)和数据节点(datanode)元数据节点用来管理文件系统的命名空间其将所有的文件和文件夹的元数据保存在一个文件系统树中。这些信息也会在硬
2011-03-06 22:19:00
485
转载 HDFS读写过程解析(zz)
一、文件的打开1.1、客户端HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为：public FSDataInputStream open(Path f, int bufferSize) throws IOException { return new DFSClient.DFSDataInputStream( dfs.open(getPathName(f), bufferSize, verify
2011-03-06 22:17:00
967
saunders-jeffery.pdf
2020-06-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人