大数据之一:全球数据每40个月增加一倍,谷歌真『疯』了

欧凯惯例:引子

其实每个人时时刻刻都在产生数据,特别是在当今的移动互联年代,但确并不是每个人都知道这个事实。
首发地址

数字信息总量的疯狂扩张简史

想要了解当前全球的好数字信息总量,不妨先看一看截至2007年的全球数字信息总量的扩展史,如下图所示:
数据量拓展简史
如上图所示,1986年,全球只有0.02EB也就是约21000TB的数据量,而到了2007年,全球就是280EB也就是约300000000TB的数据量,翻了14000倍。
而最近,由于移动互联网及物联网的出现,各种终端设备的接入,各种业务形式的普及,平均每40个月,全球的数据量就会翻倍!如果这样说还没有什么印象,可以再举个简单的例子,在2012年,每天会产生2.5EB的数据量。基于IDC的报告预测,从2013年到2020年,全球数据量会从4.4ZB猛增到44ZB!而到了2025年,全球会有163ZB的数据量!

由此可见,截至目前,全球的数据量已经大到爆了!而传统的关系型数据库根本处理不了如此海量的数据!


量变能带来质变吗

接下来,咱们通过一幅图看看海量的数据是如何从另外一个角度呈现给我们价值的。
1.gif

通过上面看似杂乱的图,你能想到什么呢?其实它以最简单的方式形式的给我们意会了大数据的核心:90%的图标都落在了左上到右下的区间块中(趋势)。

  • 用一句中文描述大数据的核心价值就是:

    世上本没有路,走的人多了也便成了路

  • 用一个英文单词描述大数据的核心价值就是:

    expirence

如何理解上面的两句话呢?这里不妨说一个简单的例子,也是大数据初始阶段应用的典型案例:

话说谷歌有一天发现非洲某个区域的人在某个月份对某一病毒的查询频次非常之高,这让谷歌的工程师们十分费解,为什么会出现这种现象呢?他们猜测莫非非洲的这个区域在这段时间内感染这种病毒的人很多?后来他们的调查印证了他们的猜测,这给了他们极大的鼓舞!他们意识到当数据量大到一定程度之后,或可先觉或可后知某种现象,即如果某件事发生的频次很高,那么很可能这件事还正在发生着,很可能在未来当条件相似时还会发生这种事件(这也是机器学习的原理),这就是预测,使用大数据进行的预测!

timg?image&quality=80&size=b9999_10000&sec=1550597168829&di=01c18b41a7d0b676460b75d6cd42f970&imgtype=0&src=http%3A%2F%2Fi2.hexunimg.cn%2F2014-12-12%2F171367626.jpg


数据【大】了,谷歌疯了

谷歌真是一家牛逼的公司,雄厚的基础实力,逆天的创新能力,大数据的起航让它疯狂,AlphaGo击败人类又让大数据一战封神!
george-booles-200th-birthday-5636122663190528.2-hp2x.gif


到底什么是数据呢?

可以用一句屌炸天的话来概括:宇宙中的一切痕迹都是数据!宇宙中唯一不变的就是变化,时时刻刻的变化会时时刻刻留下痕迹,这都是数据!
timg?image&quality=80&size=b9999_10000&sec=1550597236421&di=17466aa314bd21e09ca7c3edfd09f284&imgtype=0&src=http%3A%2F%2Fimg3.duitang.com%2Fuploads%2Fitem%2F201601%2F12%2F20160112144046_nHJhZ.png


欧凯惯例:小结

好,关于数据与大数据咱就先说到这里,我会从系列之二开始,以科学的角度,严谨的讨论数据与大数据,欢迎大家随时关注哦~


转载于:https://www.cnblogs.com/ok-ai/p/10412250.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
浅谈大数据技术 作者:崔倩 来源:《科学与财富》2020年第30期 摘 要:大数据已经成为一种基础性新资源,已初显潜在的价值和巨大的变革之力。本文介绍了大数据的定义、特征,分析了大数据的应用和发展趋势。 关键词:大数据;大数据时代;应用 引言: 随着新一代信息技术的发展和应用,尤其是互联网、物联网、移动互联网、社交网络等技术的发展,人类产生的数据成倍增长,数据种类繁多,数据在宽带网络中高速流动,数据的待开发价值越来越大,我们正在进入一个大数据时代,大数据应用也成为当前最为热门的信息技术应用领域。 一、什么是大数据 (一)大数据的定义 大数据(Big Data)指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力,以及海量、高增长率和多样化的信息资产。 (二)大数据的特征 大数据的"大"是一个动态的概念。以前10GB的数据是个天文数字,而今在地球、基因、空间科学等领域,TB级的数据已经很普遍。关于大数据的特征,虽然有多种解读,但业界一般认为,大数据具有4V特征:Volume(数据量大)、Variety(数据类型多样)、Velocity(处理速度快)和最重要的Value(价值密度低)。 1.数据量大(Volume) 浅谈大数据技术全文共4页,当前为第1页。 大数据的体量大,数据集合的规模不断扩大,已经从GB到TB再到PB级,甚至已经开始以EB和ZB来计数。例如,一个中型城市的视频监控头每天就能产生几十TB的数据。有资料证实,到目前为止,人类生产的所有印刷材料的数据量仅为200PB。国际知名咨询机构IDC(International Data Corporation)的研究报告预测,未来十年全球大数据增加50倍,管理数据仓库的服务器的数据增加10倍。 浅谈大数据技术全文共4页,当前为第1页。 2.数据类型多样(Variety) 大数据类型繁多,包括结构化、半结构化和非结构化数据。以往产生或处理的数据类型较为单一,大部分是结构化数据。而现代互联网应用呈现出非结构化数据大幅增长的特点,非结构化数据越来越成为数据的主要部分。据咨询机构IDC的调查调查报告显示,企业中80%的数据都是非结构化数据,这些数据每年都按指数增长60%。 3.处理速度快(Velocity) 大数据往往以数据流的形式动态、快速地产生,具有很强的时效性,用户只有把握好对数据流的掌控才能有效利用这些数据。另外,数据自身的状态与价值也往往随时空变化而发生演变,数据的涌现特征明显。业界对大数据数据处理速度有一个称谓——"1秒定律",即要在秒级时间范围内给出分析结果,超出这个时间,数据就失去价值了。这个速度要求是大数据处理技术与传统的数据挖掘技术最大的区别,这也充分说明了大数据需要具备快速处理的能力。 4.价值密度低(Value) 数据总体的价值巨大,但是价值密度很低。价值密度的高低与数据总量的大小成反比,数据规模越大,正有价值的数据相对越少。以常规的监控视频为例,连续24h的视频监控中,有用的数据可能仅有数秒。如何通过强大的机器算法更迅速地完成数据的价值"提纯"成为目前大数据背景下亟待解决的难题。 也有机构在4V之外定义第5个V:实性(Veracity)指的是当数据的来源越来越多元时,这些数据本身的可靠程度如何、能否反映实情况、质量是否合格,都需要关注。若数据本身就有问题,那分析得到的结果也不会正确。 二、大数据的应用 1.洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。 2.Google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布。 3.统计学家内特?西爾弗(Nate Silver)利用大数据预测2012美国选举结果。 4.麻省理工学院利用手机定位数据和交通数据建立城市规划。 浅谈大数据技术全文共4页,当前为第2页。 5.梅西百货的实时定价机制,根据需求和库存的情况,该公司基于SAS的系统对多达7300万种货品进行实时调价。 浅谈大数据技术全文共4页,当前为第2页。 6.医疗行业早就遇到了海量数据和非结构化数据的挑战,而近年来很多国家都在积极推进医疗信息化发展,这使得很多医疗机构有资金来做大数据分析。 三、大数据的发展趋势 (一)数据的资源化 资源化是指大数据成为企业和社会关注的重要战略资源,并已成为大家争相抢夺的新焦点。因而,企业必须要提前制定大数据营销战略计划,抢占市场先机。 (二)与云计算的深度结合 大数据离不开云处理,云处理为大数据提供了弹性可拓展的基础设备,是产生大数据的平台之一。自2013年开始,大数据技术已开始和云计算技术紧密结合,预计未来两者关系将更为密切。除此之外,物联网、移动互联网等新兴计算形态,也将一齐助力大数据革命,让大

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值