大数据技术原理与应用【Hadoop】（期末总结）

一、引论：

1. 大数据分析流程

分析流程：预处理->特征提取与选择->机器学习->预测结果可视化

    ①预处理：数据获取，数据清理，...

    ②机器学习

2.大数据的特征

大数据的特征：数据量大，数据类型多，处理速度快，价值密度低。

二：Hadoop概述：

1.Hadoop产生的背景：

（1）数据量增长与类型多样化引起的问题。传统软件无法在容忍的时间内完成数据的存储，处理与分析。

       数据主要分为三大类型：结构化数据（aq：二维表），半结构化数据（aq：xml，html...）,非结构化数据（aq：音频，图片）。

（2）存储介质的问题。处理数据的速度虽然很快，但是数据访问还比较缓慢。

        磁盘性能虽有所提高，但是磁盘性能的提高远不能和容量的提高保持一致。

（3）传统分布式计算的问题。存在数据处理瓶颈。