大数据挖掘分析与应用（二）初始hadoop

二 初识Hadoop

Hadoop概述

开源的

Hadoop可以搭建大型数据仓库，PB级数据的存储，处理，分析，统计等业务

分布式集群：多台计算机构成
主节点就是管理从节点位置的计算机（图书管理员）

心跳机制：

Hadoop三大核心组件：
HDFS（分布式文件系统） YARN（资源调度系统）MapReduce（分布式计算框架）

HDFS可以将数据多副本存储，这样的好处1.如果一台机器上的一个副本坏了，其他机器也可以有该数据的副本 2. 由于一个文件可以切分为多个副本存储在多个计算机中，所以只需要几台计算机就可以算出整个文件。

YARN 特点：扩展性，容错性，多框架资源统一调度

MapReduce框架

特点：扩展性，容错性，海量数据量离线处理。

例子如下图蓝色部分：将所有单词集合在一快，然后将每一排单词放在不同的三个机器中，然后将每台机器中的单词切分，并将切分的单词个数标出来，然后将相同的单词集合起来，将相同单词集合到同一台计算机，然后将单词个数总和起来，然后将每台计算机的单词和个数集合到一台计算机中即完成单词的统计。**

Apache版本不适合开发，适合学习