欢迎来到王者荣耀,不不不,欢迎来到大数据技术栈,首先咱们先来了解一下什么是大数据,别划走,看完在划。
大数据定义
那么什么是大数据呢?
1、从字面意思来说:大数据代表着海量数据,那么肯定会有小伙伴咨询,多大的数据才称的上是海量呢?别着急,往下看。
2、从专业术语来说:大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据的特点
- 大量(Volume):采集、存储和计算的数据量非常之大
计算机存储单位一般用B,KB,MB,GB,TB,PB,EB,ZB,YB,BB、NB、DB来表示,
它们之间的关系是
1GB = 1024 MB
1TB = 1024 GB
1PB = 1024 TB
1EB = 1024 PB
1ZB = 1024 EB
1YB = 1024 ZB
1BB = 1024 YB
1NB = 1024 BB
1DB = 1024 NB
以PB为例,PB级数据量有多大?是怎样的一个概念?
假如手机播放MP3的速度为平均每分钟1MB,而1首歌曲的平均时长为4分钟,那么1PB存量
的歌曲可以连续播放2000年。
1PB 也相当于50%的全美学术研究图书馆藏书咨询内容。
(1)1986年,全球只有0.02EB也就是约21000TB的数据量
(2)2007年,全球就是280EB也就是约300000000TB的数据量,翻了14000倍
(3)近些年,由于移动互联网及物联网的出现,各种终端设备的接入,各种业务形式的普
及,平均每40个月,全球的数据量就会翻倍!2012年,每天会产生2.5EB的数据量
(4)基于IDC的报告预测,从2013年到2020年,全球数据量会从4.4ZB猛增到44ZB!而到了
2025年,全球会有163ZB的数据量!
全球的数据量已经大到爆了!而传统的关系型数据库根本处理不了如此海量的数据!
- 高速(Velocity):数据增长与处理速度
我们处在信息化时代,数据的产生与传播主要通过互联网与云计算的方式进行实现,这与我们之前的报纸、信件相比而言发生了巨大的改变,这也就意味着我们的数据传播与产生更加高速,同时也代表着我们处理数据的响应速度也要快。例如:上亿条的数据必须在几秒内响应完成,数据的产生、传播、处理要做到几乎没有延迟的效果。
- 多样(Variety):数据来源广泛、数据形式多样
数据的来源广泛,形式多样化。大数据可以大致分为三类:
- 结构化数据:如财务系统数据、银行系统数据、医疗系统数据等。
- 非结构化数据:如视频、图片、音频等。
- 半结构化数据:如文档、网页、邮件等。
当然,多样化的数据类型也就提高了我们对数据的处理能力。
- 真实(Veracity):数据的真实性
- 低价值(Value):数据价值密度低
大数据的核心特性是价值,价值密度的高低和数据量的大小成反比,我们要做的是从大量的数据中提取、获取有价值的信息。也可以说任何有价值的信息的提取依托的就是海量的基础数据。
当然这也意味着我们需要结合业务逻辑并通过强大的机器算法来获取挖掘数据,体现数据价值,这也是目前最需要解决的问题。
应用场景
随着大数据的发展,大数据技术已经广泛应用在众多行业,比如仓储物流、电商零售、汽车、电信、生物医学、人工智能、智慧城市等等领域,包括在疫情防控战中,大数据技术也发挥了重要的作用。
- 仓储物流
大数据技术驱动了仓储物流领域的智能化发展,以苏宁为例,苏宁物流可在全国的各级仓库间实现智能分仓、就近备货和预测式调拨,实现”客户需要的商品就在离客户最近的配送中心“。
- 个性推荐

- 无人驾驶
如今的自动驾驶技术越来越受到业界和大众的关注,利用了大数据和物联网技术的无人驾驶汽车,在不远的未来将走入我们的日常生活。


被折叠的 条评论
为什么被折叠?



