大数据导论笔记

视频课林子雨老师 大数据导论
网页笔记预习大数据导论 大数据导论复习笔记

一、大数据概述

1.数据的概念、类型和组织形式

• 数据概念
  
• 数据类型
  （1）数据基本类型

数据类型包括文本，图片，音频，视频等

• 数据组织形式
  

2.数据的使用、数据的价值性和数据爆炸

• 把数据变得可用需要经过的步骤:

数据清洗，数据管理，数据分析

3.第三次信息化浪潮

• 人类IT发展史上3次信息化浪潮的发生时间、标志及其解决的问题

第一次：1980年前后，标志：个人计算机，解决问题：信息处理

第二次：1995年前后，标志：互联网，解决问题：信息传输

第三次：2010年前后，标志：互联网，云计算和大数据，解决问题：信息爆炸

4.信息科技为大数据时代提供技术支撑

• 请阐述信息科技是如何为大数据时代的到来提供技术支撑的：

存储设备容量不断增加

CPU处理能力大幅提升

网络宽带不断增加

5.数据产生方式的变革促成大数据时代的来临

• 阐述人类社会的数据产生方式大致经历了哪3个阶段：
  运营式系统阶段
  用户原创内容阶段
  感知式系统阶段
  总体而言，数据的产生经历了被动、主动到自动的3个阶段。

6.大数据的发展历程

• 阐述大数据发展的3个重要阶段:
  萌芽期：数据挖掘理论和数据库技术逐步成熟
  成熟期：web2.0
  大规模应用期：大数据应用渗透各行各业

7.世界各国的大数据发展战略

8. 大数据的概念

• 阐述大数据的“4V”特性。
  4v：数据量大，数据类型繁多，处理速度快，价值密度低
  （量大，类型多，处理快，价值密度弟中弟）

9.大数据的影响

• 科学研究四种范式
  实验
  理论
  计算
  数据
  
  计算：推测理论，搜集数据来计算 验证
  数据：由大量数据计算理论

10. 大数据的应用

11.大数据产业

12.高校大数据专业

• 阐述高校大数据专业的知识体系。
  数据采集与预处理
  数据存储与管理
  数据处理与分析
  数据可视化

二、大数据与其他新兴技术的关系

1.云计算概念

• 概念（理解上借助 自来水）
  云计算实现通过网络提供可伸缩的，廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源
• 特点
  

2.云计算服务模式和类型

• 请阐述云计算有哪几种服务模式和哪几种类型。
  服务模式：基础设施即服务，平台即服务，软件即服务
  类型：公有云，私有云，混合云
  

3.云计算数据中心

• 请阐述什么是数据中心和数据中心在云计算中的作用。

数据中心是云计算的重要载体，为云计算提供计算，存储，宽带等各种资源，为各种平台和应用提供运行支撑环境

数据中心里的CPU，内存，磁盘，宽带等it资源汇集成一个庞大的it资源池
（自来水）

4.云计算的应用与产业

• 请举例说明云计算有哪些典型的应用。
  应用：电子政务，教育，企业，医疗

5.物联网概念与关键技术

• 请阐述物联网的概念和物联网各个层次的功能。
  • 物联网是物物相连的互联网，是互联网的延申。
    它利用局部网或互联网等技术把传感器，控制器，机器，人员或物等通过新的方式连在一起，形成人与物，物与物相连，实现信息化和远程管理控制
  • 四个层次：感知层，网络层，处理层，应用层
    （感知层：类比人的神经末梢
    处理层：类比大脑
    应用层：面向用户）
    
    
• 请阐述物联网有哪些关键技术。
  识别感知技术
  网络与通信技术
  数据挖掘与融合技术

6.物联网的应用与产业

7.大数据与云计算、物联网的关系

• 请阐述大数据与云计算、物联网的相互关系。
  大数据侧重于对海量数据存储，处理与分析，从海量数据中发现价值，服务于生产和生活；
  云计算旨在整合和优化各种it资源并通过网络以服务的方式，廉价低提供给用户
  物联网的发展目标是实现“物物相连”，应用创新是物联网发展的核心

（1） 云计算vs大数据
云计算为大数据提供了技术基础，大数据为云计算提供用武之地

（2）大数据vs物联网
大数据技术为物联网数据分析提供支撑，物联网是大数据的重要来源
（3）物联网vs云计算
物联网为云计算技术提供了广阔的应用空间，云计算为物联网提供海量数据存储能力

8.人工智能概念与关键技术