Hadoop实战
iteye_17225
这个作者很懒,什么都没留下…
展开
-
第七章 I/O操作
Hadoop中的I/O与传统I/O的区别: 1、传统I/O数据是集中存储的,在一台主机上,Hadoop I/O数据分布在多台主机上。 2、传统I/O数据量比较小,大多GB级,Hadoop I/O数据量经常PB级的 7.1 I/O操作的数据检查 通过校验和方式检查数据完整性,检验和不恩那个恢复数据,只能检测数据错误。 Hadoop采用CRC-32(检验和为32位)的方...原创 2015-07-05 15:52:14 · 75 阅读 · 0 评论 -
第三章 MapReduce计算模型
3.1 为什么用MapReduce 分布式+海量数据 3.2 MapReduce计算模型 JobTracker,用户管理和调度工作 TaskTracker,用于执行工作 Job,每个个MapReduce任务被初始化为一个Job,每个Job又分为两个阶段,分别用Map函数和Reduce函数表示这两个阶段 InputSplit,存储的不是数据本身,而是一个分片长...原创 2015-07-05 22:04:07 · 124 阅读 · 0 评论 -
第四章 开发MapReduce应用程序
4.1 系统参数的配置 配置中被标记为“final”的属性不能被重写 4.2 配置开发环境 Hadoop三种不同的运行方式:单机模式、伪分布式模式、完全分布式 4.3 编写MapReduce程序 4.4 本地测试 P62 4.5 运行MapReduce程序 P62 4.6 网络用户界面 P65 4.7 性能调优 P68 ...原创 2015-07-06 16:02:19 · 81 阅读 · 0 评论