《大数据时代》书摘

《大数据时代》读书笔记

引言——一场生活、工作与思维的大变革

一、       大数据的实际应用

l  谷歌与甲型H1NI1——大数据与公共卫生

数据源：谷歌每天会收集并保存30亿条搜索指令

关注点：特定搜索词条的使用频率与流感在时间以及空间上的传播这两者之间的关系

操作方式：首先是把5000万个美国人最频繁搜索的此条例筛选出来，并与美国疾控中心07-08年季节性流感传播时期的数据进行比较；然后使用这个5000W条数据处理了4.5亿个数学模型，得出预测之后与07-08年的流感数据进行比对。

结果：45个特定词条的组合结合一个特定的数学模型之后得出的结论与官方的数据相关性达到97%

当今社会的新型能力：以一种前所未见的方式，通过对海量数据的分析，获得有巨大价值的产品和服务，或者深刻的洞见。

 

l  FareCast与机票价格——大数据与商业

数据源：起初是从旅游网站上爬取了41天的12000调数据，目前已经拥有2000亿条飞行数据记录

关注点：并不想要了解机票为何有差价，只想预测未来一段时间内机票价格的走势

操作方式：分析所有特定航线的机票销售价格并确定票价与提前订购天数之间的联系

结果：使用Farecast的旅客平均每张机票节省50美元

 

在过去，计算机的运算和存储能力过于昂贵所以限制了大数据的发展，但是现在无论是硬件还是软件的提升，都让人们对于数据的观念发生变化。

 

二、       大数据，变革思维

信息爆炸引起了新的处理技术的诞生（比如谷歌的MapReduce以及开源平台Hadoop）

这些新技术不再需要用传统数据库的表格整齐排列（Sql），消除了僵化的层级结构和一致性（NoSql）

大数据是人们在大规模数据基础之上可以做到的事情，而这些事情在小规模数据的基础上是无法完成的。

大数据时代需要更加关注是什么（相关关系），而不是为什么（因果关系）。

三、       大数据，开启重大的时代转型

谷歌每天要处理24拍字节（PB，1024T）的数据，是美国国家图书馆所有纸质出版物所含数量的上千倍

FaceBook每天更新1000W+的照片，点击“喜欢”的次数超过30亿次

YouTube每月接待8亿多的访客，每秒都会有一段长达1小时的长视频上传

Twitter每天更新4以条微博

 

真正的革命并不在于分析数据的机器，而在于数据本身和我们如何运用数据

对于数据而言，规模是非常重要的——量变引起质变

四、       预测，大数据的核心

大数据把数学算法运用到海量的数据上来预测事情发生的可能性

大数据为人们的生活创造了前所未有的可以量化的维度

五、       大数据，大挑战

分析数据时带来的三个转变：1.在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖随机取样。2.研究数据如此之多&