大数据与机器学习

1、大数据的定义（3V）：

volume（大量数据）

variety（多样性）

velocity(时效性)

1.2 Hadoop的特性

可扩展性

经济性

弹性

可靠性

1.3 HDFS分布式文件系统

NameNode负责管理、维护、控制读写

HDFS设计的前提和目标：

1、硬件故障是常态而不是异常---容错能力-自动恢复

2、Streaming 流式数据存取

批处理，有点：提高存取大数据的能力，确定，牺牲了响应时间

3、大数据集---cluster集群架构

4、简单的一致性模型---一次写入多次读取

5、移动“计算”比移动“数据”成本更低----将计算功能在接近数据的服务器中运行，而不是搬运数据。

6、跨硬件与软件平台

HDFS文件存储架构：

1、文件分割 ：一个Block 64M

2、区块副本策略--默认复制成3份--维持3份副本策略

3、机架感知

1.4 Hadoop MapReduce

MapReduce 采用分布式计算的技术

1：将任务分割成多个小任务，每台服务器分别运行。

2：resuce将所有服务器的运算结果汇总返回。

1.5 Spark ：基于内存的计算框架（大幅度提升性能）

特点：

1、命令周期短

2、易于开发程序

3、Hadoop兼容

4、可在个平台运行