AI给生活的变化

这是一个变化的世界，我们谁都没想到我们今天可以聚在这里，可以继续畅想未来，我跟大家都认为电脑够快，互联网还要快，很多人还没搞清楚什么是PC互联网，移动互联来了，我们还没搞清楚移动互联的时候，大数据时代又来了
大数据这个词想必大家都耳熟能详，可是大数据是什么？大数据有哪些特点？大数据的应用？

我们先来看下一些搜索引擎对大数据的定义：

大数据（英语：Big data），又称为巨量资料，指的是在传统数据处理应用软件不足以处理的大或复杂的数据集的术语。

数据也可以定义为来自各种来源的大量非结构化或结构化数据。从学术角度而言，大数据的出现促成广泛主题的新颖研究。这也导致各种大数据统计方法的发展。大数据并没有统计学的抽样方法；它只是观察和追踪发生的事情。因此，大数据通常包含的数据大小超出传统软件在可接受的时间内处理的能力。由于近期的技术进步，发布新数据的便捷性以及全球大多数政府对高透明度的要求，大数据分析在现代研究中越来越突出。

–维基百科

大数据（big data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）

–百度百科

大数据由巨型数据集组成，这些数据集大小常超出人类在可接受时间下的收集、庋用、管理和处理能力。大数据的大小经常改变，截至2012年，单一数据集的大小从数太字节（TB）至数十兆亿字节（PB）不等。

在一份2001年的研究与相关的演讲中，麦塔集团（META Group，现为高德纳）分析员道格·莱尼（Doug Laney）指出数据增长的挑战和机遇有三个方向：量（Volume，数据大小）、速（Velocity，数据输入输出的速度）与多变（Variety，多样性），合称“3V”或“3Vs”。高德纳与现在大部分大数据产业中的公司，都继续使用3V来描述大数据。高德纳于2012年修改对大数据的定义：“大数据是大量、高速、及/或多变的信息资产，它需要新型的处理方式去促成更强的决策能力、洞察力与最优化处理。”另外，有机构在3V之外定义第4个V：真实性（Veracity）为第四特点。

大数据必须借由计算机对数据进行统计、比对、解析方能得出客观结果。美国在2012年就开始着手大数据，奥巴马更在同年投入2亿美金在大数据的开发中，更强调大数据会是之后的未来石油。数据挖掘（data mining）则是在探讨用以解析大数据的方法。

–MBA智库百科

大数据是具有海量、高增长率和多样化的信息资产，它需要全新的处理模式来增强决策力、洞察发现力和流程优化能力。

Big data is high volume, high velocity, and/or high variety information assets that require new forms of processing to enable enhanced decision making, insight discovery and process optimization.
大数据到底是什么，如果简单来理解大数据就是 4V 的特征：

Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值），即 数据体量巨大、数据类型繁多、价值密度低、处理速度快。

但是这样理解会显得太浅显，要想更加全面了解大数据概念可以查看 资料《大数据时代》。

了解一个东西，我们要了解它是因何而生，

大数据的发展
早在1980年，著名未来学家阿尔文・托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。从2009年开始，“大数据”才成为互联网信息技术行业的流行词汇。2012年，大数据概念炙手可热，2013年，大数据走向实践，有的专家称之为“大数据元年”。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年将翻一番，而目前世界上90%以上的数据是最近几年才产生的。

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。

大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……

仅根据2013年的统计，互联网搜索巨头百度已拥有数据量接近EB级别、阿里、腾讯声明自己存储的数据总量都达到了百PB以上。此外，电信、医疗、金融、公共安全、交通、气象等各个方面保存的数据量也都达到数十或者上百PB级别。

大数据特点
大数据的4V的特征:Volume(大量)、Variety(多样)、Velocity(高速)、Value(价值);

第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。

第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求，例如在传统的关系型数据库中，所存储的数据都是结构化的。
但是在现实生活中，信息往往并没有严格的结构限制。比如一个电商网站需要记录如下用户行为：

用户小申， 于某某时间在商品搜索栏搜索了“PS4”一词，然后进入 XXX 商铺进行浏览，经过与店家沟通，讨价还价，最终以2000元的价格购买了PS4 “炫酷黑”PS4一部。

诸如此类的用户行为数据属于非结构化数据，很难用关系型数据库存储。因此诸多No-SQL数据库（例如 MongoDB）成为了存储大数据的更好选择。

第三个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

第四个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。

大数据带来的变革
当数据的处理技术发生翻天覆地的变化时，大数据时代，我们的思维也要变革。

第一个思维变革：利用所有的数据，而不再仅仅依靠部分数据，即不是随机样本，而是全体数据。

第二个思维变革：我们唯有接受不精确性，才有机会打开一扇新的世界之窗，即不是精确性，而是混杂性。

第三个思维变革：不是所有的事情都必须知道现象背后的原因，而是要让数据自己“发声”，即不是因果关系，而是相关关系。

大数据的应用
洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。

google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布。

统计学家内特.西尔弗(Nate Silver)利用大数据预测2012美国选举结果。

麻省理工学院利用手机定位数据和交通数据建立城市规划。

梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。 [9]

医疗行业早就遇到了海量数据和非结构化数据的挑战，而近年来很多国家都在积极推进医疗信息化发展，这使得很多医疗机构有资金来做大数据分析。

讲个经典小故事

20世纪90年代，美国沃尔玛超市管理人员分析销售数据时，发现了一个令人难以理解的现象：在某些特定的情况下，“啤酒”与“尿布”两件看上去毫无关系的商品，会经常出现在同一个购物篮中，且大多出现在年轻的父亲身上。

分析背后原因是，在美国有婴儿的家庭中，一般是母亲在家中照看婴儿，年轻的父亲去超市买尿布。父亲在购买尿布的同时，往往会顺便为自己购买啤酒。

由此，沃尔玛就在卖场尝试将啤酒与尿布摆放在相同区域，让年轻的父亲可以同时找到这两件商品，并很快地完成购物，从而极大提升商品销售收入。
再举个例子, 关于姿势 你们现在坐着的姿势 你坐着的姿势 你坐着的姿势 你坐着的姿势 这些都不一样 这是一个关于腿长 你的背部和背部轮廓的函数 如果我现在放一些传感器 或许100个 在你的椅子里 我可以算出你的独一无二的参数 就像你的指纹 但不是针对你的手指

那我们能用它来干什么呢？ 东京的研究者把它 运用在一个汽车防盗设施的雏形上，它的设想是盗贼坐在驾驶座上 企图把车开走 但是汽车识别出 驾驶座上的是个未授权驾驶人 那汽车可能就会熄火 除非你在仪表盘上输入密码 来表明“我已获得授权” 。

如果欧洲的每辆汽车 都装备了这项技术会是怎样的情形？ 我们还能做些什么呢？ 或许如果我们整合数据 我们可以识别示警信号 对于在下一个五秒钟内 可能发生的意外做出最佳预判 我们也可以进行数据化的是 司机的疲劳度 当汽车侦测到司机的坐姿 倒成某一特定姿势时 这个设备感知到并发出车内警告 可能是震动方向盘或语音提示 “嗨，醒醒 集中精神在路况上” 这就是生活的更多方面数据化后 我们能做的事情。