大数据导论--大数据技术-原理与应用 知识点

大数据概述

1. 三次信息化浪潮

   信息化浪潮	时间	标志	解决问题	代表企业
   第一次	1980年前后	个人计算机	信息处理	Intel，苹果，联想
   第二次	1995年前后	互联网	信息传输	谷歌，阿里巴巴，百度，腾讯
   第三次	2010年前后	物联网，云计算和大数据	信息爆炸	将涌现出一批新的市场企业标杆

2. 信息科技需要解决 **信息存储，信息传输和信息处理 **三个问题

3. 大数据时代的技术支持：

   1> 存储设备容量不断增加 2> CPU处理能力大幅提高 3> 网络宽带不断增加

4. Byte<KB<MB<GB<TB<PB<EB<ZB

5. 大数据平台是开发；在集群上的

6. 大数据的五个特点：
   数据量大 数据类型繁多 处理速度快 价值密度低 真实性

7. 大数据对科学研究的影响 四种范式：
   实验 理论 计算 数据

8. 大数据对思维方式的影响：
   全样而非抽样 效率而非精确 相关而非因果

9. 大数据两大核心技术：
   分布式存储 分布式处理

10. 大数据技术的不同层面及其功能
    数据采集与预处理 数据存储和管理 数据处理与分析 数据安全和隐私保护

11. 大数据计算模式及其代表产品

    大数据计算模式	解决问题	代表产品
    批处理	针对大规模数据的批量处理	Mapreduce，Spark
    流计算	针对流计算的实时计算	Strom
    图计算	针对大规模图结构的数据处理
    查询分析计算	大规模数据的存储管理和查询分析

12. 云计算的关键技术：
    虚拟化 分布式存储 分布式计算 多租户

13. 物联网：物物相连

14. 物联网可分为四层：感知层，网络层，处理层，应用层

15. 物联网的关键技术：