大数据技术与原理 概述

大数据概述：

大数据的发展历程：

• 第一阶段：萌芽期（20世纪90年代至21世纪初）
• 第二阶段：成熟期（21世纪前十年）
• 第三阶段：大规模应用期（2010年以后）

大数据的特点（简称4V）：

• 数据量大
• 数据类型多
• 处理速度快
• 价值密度低

大数据的特征：

• 全面而非抽样
• 效率而非精确
• 相关而非因果

在科学研究上的四种范式：
实验科学、理论科学、计算科学、数据密集型科学

大数据技术
主要包括数据采集与预处理、数据存储和管理、数据处理与分析、数据安全和隐私保护。

大数据技术的不同层面及其功能

技术层面	功能
数据采集与预处理	利用ETL(数据仓库技术)数据文件工具将分布的、异构数据源中的数据，如关系数据、平 面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础; 也可以利用日志采集工具（如Flume、Kafka等）把实时采集的数据作为流计算系统的输入，进行实时的处理分析 。
数据的存储和管理	利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海里数据的存储和管理
数据的处理与分析	利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进行可视化呈现，帮助人们更好理解数据、分析数据。
数据的隐私和安全	从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效的保护 个人隐私和数安全。

大数据的计算模式

• 批处理计算 针对大数据的批处理。 代表产品：MapReduce、Spark
• 流计算 针对流数据的实时计算。 代表产品： Storm、S4、 Flume、 Dstream 、银河流数据处理平台等
• 图计算 针对大规模图结构数据处理。 代表产品：Pregel 、Hama 、GraphX
• 查询分析计算 大规模数据的存储管理和查询分析。 代表产品：Hive、 Dremel

云计算：
三种模式：

• Iaas（基础设施即服务）
• Paas（平台即服务）
• Saas（软件即服务）

关键技术：

• 虚拟化
• 分布式存储
• 分布式计算
• 多租户

物联网
分层：

1. 感知层
2. 网络层
3. 处理层
4. 应用层

大数据、云计算、物联网三者的关系与联系

大数据：侧重于海量数据的存储、处理、分析，从海量数据中发现价值，服务于生产和生活。
云计算：旨在整合和优化各种IT资源，并通过网络以服务的廉价方式提供给用户。
物联网：发展目标是实现物物相连，应用创新是互联网发展的核心。