大数据学习笔记（二）：Hadoop2.x概述

什么是Hadoop

• 开源的
• 可靠的：可以通过备份的数据恢复
• 可扩展：机器动态的增加或减少不会影响数据的存储和计算
• 分布式计算：多台机器并行的处理

Hadoop能做什么

海量数据的存储——HDFS

• 存储海量数据
• 动态的添加机器
• 备份
• 当数据收到损坏时，快速自动恢复

海量数据分析——mapreduce

• 核心理念：分而治之
• 处理海量的数据获得有价值的信息
• mapreduce原理：
  

假设有海量的数据要我们来数其中各个图形的数目，我们可以简化一下，如上图，要数左边的个数，可以分给两个计算机去处理，最后何总得到结果。同样的，如果有大量数据，就可以分给百台计算机去处理。

任务调度和集群资源管理——YARN

• 资源管理（cpu，内存）
• 通过资源管理来合理安排任务，进行任务调度

Hadoop特点

• 扩容能力：动态增加或减少，并不会影响集群计算
• 成本低：普通的机器也能作为集群的结点
• 高效率：分布式计算
• 可靠性：默认备份三份，也可以指定备份多少

应用场景

• 日志分析：公司的每天产生的日志分析
• 推荐系统：淘宝购买物品之后，分析你的购物，推荐物品

来看一下课程中给的一张图：