大数据技术原理与应用 笔记 第1章 大数据概述

大数据时代带来的影响

现在我们有足够的空间，可以对全局数据进行存储，处理，分析。


因为之前是进行抽样统计分析，所以我们对算法的要求是尽量准确，而非追求效率。
而现在我们可以存储全部的数据之后，我们就应该追求效率而不是刻意追求精确了。
在大数据时代，要追求时效性，很多时候过去了，数据也就没有意义了。


大数据时代更关心相关性而非因果性，我们关心用户买了A书后会不会也买B书，而不关心用户为什么买A书。

大数据关键技术

分布式存储 分布式处理

不同的计算模式需要使用不同的产品

典型的计算模式

批处理计算（不适合实时计算）

流计算

秒级的实时流计算

图计算

图计算就是处理图结构数据。

查询分析计算

总结

大数据与云计算

云计算

解决了海量数据的分布式存储和分布式处理问题
云计算典型特征
虚拟化、多租户
云计算概念
云计算是通过网络以服务的方式为用户提供非常廉价的IT资源。
云计算优势
企业不需要自建IT基础设施，可以租用云端资源。

云计算的三种模式

1. 公有云
2. 混合云
3. 私有云

整个云计算的层次模型
分三层


提供一些硬件资源，你可以直接在上面搭建自己的系统和应用。

在云计算时代，很多时候要开发云计算产品，这个时候对于一个个体来讲，没有能力去搭建这样一个云计算的环境，像谷歌专门提供了一个云计算开发环境。


直接安装好整个软件，用户可以直接使用。

云计算关键技术

云计算数据中心

数据中心包含大量刀片服务器
全国各地大量建设数据中心
数据中心应该建在哪里？
建设在地质结构稳定的地方（不要老是地震，一震就崩了）
建设在气候凉爽的地方（数据中心能耗大，一年将近一亿电费，方便散热，节省电费）

应用

物联网

公交车上的GPS定位就相当于物联网的感知层。

物联网关键技术

识别技术、感知技术

这就构成了信息发展的第三次浪潮。