参考：大数据技术原理与应用（第3版）林子雨 编著
目录
基本概念
大数据:指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
流数据/数据流：指在时间分布和数量上无限的一系列动态数据集合体，数据的价值随时间的流逝而降低，因此必须采用实时计算的方式给出秒级响应。
云计算：云计算实现了通过网络提供可伸缩的廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。代表了以虚拟化技术为核心、以低成本为目标的、动态可扩展的网络应用基础设施，是近年来最有代表性的网络技术与模式。
物联网：是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、计算器、人员和物等通过新的方式连在一起，形成人与物互联、物与物相连，实现信息化和远程管理控制。
大数据
三次信息化浪潮
信息科技需要解决信息存储、信息处理和信息传输3个核心问题。
信息科技为大数据时代提供技术支撑：
- 存储设备容量不断增加
- CPU处理能力大幅提升
- 网络带宽不断增加
数据产生的三个阶段
数据产生方式大致经历了3个阶段：运营式管理阶段、用户原创内容阶段、感知式系统阶段
大数据的发展历程（三个阶段）
大数据的4个特点（4V）
1. 数据量大
根据IDC做出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）
人类在最近两年产生的数据量相当于之前产生的全部数据量
2. 数据类型多
大数据是由结构化和非结构化数据组成的
10%的结构化数据，存储在数据库中
90%的非结构化数据，它们与人类信息密切相关
3. 处理速度快
从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少
1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同
4. 价值密度低
价值密度低，商业价值高
科学研究四种范式——图灵机获得者，吉姆·格雷观察总结
1. 实验科学
2. 理论科学
3. 计算科学
4. 数据密集型科学
大数据的影响
对思维方式的影响：
- 1. 全样而非抽样
- 2. 效率而非精确
- 3. 相关而非因果
对社会发展的影响：
- 1. 大数据决策成为一种新的决策方式
- 2. 大数据应用促进了信息技术与各行业的深度融合
- 3. 大数据开发推动了新技术和新应用的不断涌现
对就业市场的影响：
数据的兴起使得数据科学家成为热门职业
对人才培养的影响：
大数据的兴起，将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制
大数据关键技术
大数据计算模式
大数据产业
大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合。
云计算
云计算关键技术：虚拟化、分布式存储、分布式计算、多租户等
云计算数据中心：
云计算数据中心是一整套复杂的设施，包括刀片服务器、宽带网络连接、环境控制设备、监控设备以及各种安全装罝等
数据中心是云计算的重要载体，为云计算提供计算、存储、带宽等各种硬件资源，为各种平台和应用提供运行支撑环境。
物联网
物联网关键技术：包括识别和感知技术（二维码、RFID、传感器等）、网络与通信技术、数据挖掘与融合技术等
物联网应用：广泛应用于智能交通、智慧医疗、智能家居、环保监测、智能安防、智能物流、智能电网、智慧农业、智能工业等领域，对国民经济与社会发展起到了重要的推动作用。
物联网产业：
完整的物联网产业链主要包括：核心感应器件提供商、感知层末端设备提供商、网络运营商、软件与行业解决方案提供商、系统集成商、运营及服务提供商
大数据与云计算、物联网的关系
云计算、大数据和物联网代表了T领域最新的技术发展趋势，三者相辅相成，既有联系又有区别。
课后习题（书后习题）
1. 试述信息技术发展史上的3次信息化浪潮及其具体内容
信息技术发展史上的三次信息化浪潮分别是：
-
第一次信息化浪潮：1980年前后，计算机时代，个人计算机（PC）的普及使得信息处理能力大幅提升。
-
第二次信息化浪潮：1995年前后，网络化时代，互联网的兴起实现了信息的快速传输和交换，推动了电子商务的兴起。
-
第三次信息化浪潮：2010年前后，智能化时代，物联网、云计算和大数据技术的融合应用，推动了智能化决策和服务的发展。
2. 试述数据产生方式经历的几个阶段
数据产生方式经历的几个阶段可以简单归纳为：
-
运营式系统阶段：数据主要来源于企业内部的运营活动，如销售记录、交易记录等。这个阶段的数据产生方式是被动的。
-
用户原创内容阶段：随着互联网的发展，尤其是Web 2.0的兴起，用户开始主动产生数据，如发布博客、微博、评论等。这个阶段的数据产生方式是主动的。
-
感知式系统阶段：随着物联网技术的发展，传感器等设备被广泛部署，自动产生和收集数据，如环境监控、交通流量监测等。这个阶段的数据产生方式是自动化的。
3. 试述大数据的4个基本特征
数据量大、数据类型繁多、处理速度快、价值密度低
4. 试述大数据时代的“数据爆炸”特征
产生数据速度快、数量大
5. 科学研究经历了哪4个阶段？
实验科学
理论科学
计算科学
数据密集型科学
6. 试述大数据对思维方式的重要影响
全样而非抽样
效率而非精确
相关而非因果
7. 大数据决策与传统的基于数据仓库的决策有什么区别？
数据仓库以关系数据库为基础，无论在数据类型还是数据量方面都存在较大限制。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8. 举例说明大数据的具体应用
电商领域——用户行为分析和商品推荐：
电商平台通过收集用户的浏览、购买、评价等行为数据，利用大数据技术对用户进行画像和需求分析，然后为用户推荐个性化的商品和服务。例如，淘宝、京东等电商平台利用大数据技术为用户推送他们可能感兴趣的商品。
9. 举例说明大数据的关键技术
大数据的关键技术主要包括数据采集、数据储存、数据管理、数据分析与挖掘环节。
- 数据采集：HDFS（Hadoop Distributed FileSystem）：这是一个分布式文件系统，适合运行在通用硬件上的分布式系统，是一个高度容错的系统，可以部署在廉价的机器上。HDFS使得大规模数据的存储和访问变得高效和可靠。
- 数据储存：HBase：这是一个分布式的、面向列的开源数据库，不同于一般的关系数据库，它是一个适合于非结构化数据储存的数据库。HBase提供了高性能、可扩展的存储能力，可以处理大量的非结构化数据。
- 数据管理：Informatica：这是一个数据集成工具，可以帮助企业从多个数据源中收集、清洗、转换和加载数据。例如，在紫金农商银行ODS数据仓库项目中，Informatica产品使得数据的加载、清洗、转换工作变得简单，图形化、流程化设计使维护人员能够快速、顺畅地操作。
- 数据分析与挖掘：MapReduce：这是一种编程模型，用于大规模数据集的并行运算。MapReduce使得处理海量数据变得更加容易，因为它将复杂的并行计算过程抽象为两个简单的函数：Map和Reduce。
10. 大数据产业包含哪些层面？
IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层
11. 给出定义：云数据、物联网
云计算概念：云计算实现了通过网络提供可伸缩的廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源
物联网概念：物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互 联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制
12. 详细阐述大数据、云数据和物联网三者之间的区别与联系
云计算、大数据和物联网代表了T领域最新的技术发展趋势，三者相辅相成，既有联系又有区别
扩展习题
1.（单选）第三次信息化浪潮的标志是（）
A、互联网的普及
B、云计算、大数据、物联网技术的普及
C、个人电脑的普及
D、虚拟现实技术的普及
答案：B
2.（单选）以下哪个不是大数据时代新兴技术（）
A、hadoop
B、HBase
C、Spark
D、MySQL
答案：D
3.（多选）大数据发展的三个阶段是（）
A、大规模应用期
B、低谷期
C、成熟期
D、萌芽期
答案：ACD
1723
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
