hadoop权威指南 读书笔记

第一章 概述
1.当今是数据大爆炸的时代，数据的存储与分析成为问题
2.hadoop hdfs解决存储问题 mapreduce解决批量分析问题。
3.大量数据由于好的算法。推荐算法依赖大量用户数据。
4.hadoop名字的由来 doug cutting 孩子的毛绒玩具。
5. 2006年 hadoop诞生 2008成为apache 顶级项目
6. 与传统关系数据库对比： 数据量大 非实时 批量处理 数据可以是半结构化
第二章 mapreduce
1.用于数据处理的编程模型 特点：并行执行
2.map 函数负责 数据预处理 （key,[value1,value2,value3]）
3.reduce函数负责 得到处理结果 遍历map阶段 value数组。
第三章 hdsf分布式文件系统
1.分布式文件系统：管理网络中多台计算机存储的文件系统。架构于网络之上，引入了网络编程的复杂性
2.分布式文件系统的容错 不丢失数据
3.hdsf存储超大文件 流式数据访问 商业硬件