大数据技术原理与应用（一）：大数据概述

大数据时代

大数据开始被人们所熟知是在2010年前后。

2010年前后，以云计算、大数据、物联网的普及为标志迎来第三次信息化浪潮

---

---

大数据的概念与影响

4V

大数据由结构化和非结构化数据组成，90%都是非结构化的

结构化数据是指存储在关系型数据库当中的非常规范的数据

大数据对我们思维方式的影响

• 全样而非抽样（已经由足够的空间和计算能力对全样数据进行存储和分析而不用去抽样了）
• 效率而非精确（抽样时追求精确性方式应用到全局错误被放大，而全样数据没有必要了，而时效性很重要，很多时候的数据价值只在一瞬间（监控录像））
• 相关而非因果（淘宝买书，会给你推送另外用户买了也那本书，而不会告诉你为什么也买了那本书）

大数据关键技术

大数据技术（分布式存储和分布式处理）是以谷歌公司技术为代表的

分布式数据库和分布式文件系统属于分布式存储技术

分布式并行处理技术属于分布式处理技术

 

现在没有一种大数据产品可以满足所有需求，所以对于不同的计算模式需要使用不同的产品

批处理计算

MapReduce是批处理计算模式的典型代表，它不适合做实时交互式计算（主要是批处理的东西，都不可能实现秒级响应）

Spark也属于批处理，但它的实时性比MapReduce要好，而且它解决了MapReduce中的一些缺点，MapReduce没办法迭代计算，而Spark可以高效做迭代计算

 

大数据技术继承自云计算