目录
一、大数据的产生
大数据是物联网和元计算发展到一定阶段的必然产物。
大数据的产生是一个逐步发展的过程,现在的大数据是一个庞大的概念,大数据不仅代表数据量大,更代表了一系列数据价值化技术的总称。
目前基于大数据的场景化分析是大数据的主要应用之一,未来大数据将应用到更多的智能体系当中,为智能体提供决策支撑服务。目前人工智能的研究也逐渐以大数据为基础进行展开,未来大数据的应用领域将得到扩展。大数据本身也正在成为推动科技发展的主要驱动力,可以说未来谁掌握了数据,也就掌握了主动权。
二、大数据的概念
大数据:指无法再一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据主要解决,海量数据的采集、存储和分析计算的问题。
按顺序给出数据存储单位:TB PB EB
三、大数据的特点
1.Volume(大量)
截至目前,人类生产的所有印刷材料的数据量是200PB,而历史上全人类总共说过的话的数据量大约是5EB。当前,典型个人计算机硬盘的容量为TB量级,而一些大企业大数据量已经接近EB量级。
2.Velocity(高速)
这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告,预计到2025年,全球数据使用量将达到163ZB。在如此海量的数据面前,处理数据的效率就是企业的生命。
3.Variety(多样)
这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以数据库/文本为住的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高的要求。
4.Value(低价值密度)
价值密度的高低与数据总量的大小成反比。
如何对有价值数据“提纯”成为当前大数据背景下待解决的难题。
四、大数据的应用场景
1.抖音:推荐的都是你喜欢的视频
2.电商内的广告推荐:给用户推荐可能喜欢的商品
3.零售:分析用户消费习惯,为用户购买商品提供方便,从而提升商品销量。
4.物流仓库:京东物流,上午下单下午送达、下午下单次日上午送达
5.保险:海量数据挖掘及风险预测,助力保险行业精准营销,提升精细化定价能力
6.金融:多维度体现用户特征,帮助金融机构推荐优质客户,防范欺诈风险。
7.房产:大数据全面助力房地产行业,打造精准投资与营销,选出更适合的地,建造更适合的楼,卖给更合适的人。
8.人工智能+5G+物联网+虚拟与现实
······
五、大数据的发展前景
1.党的十九大提出“推动物联网、大数据、人工智能和实体经济深度融合”。
2.2020年初,中央推出34万亿“新基建”投资计划
"新基建"投资规模拆分 | |
项目 | 2020年投资规模(亿元) |
5G | 3000 |
特高压 | 600 |
轨道交通 | 5000 |
充电桩 | 100 |
数据中心 | 1000 |
人工智能 | 350 |
工业互联网 | 100 |
合计 | 10150 |
3.大数据下个风口
2020年时5G建设的元年,国家在大力铺设5G设备,2021年就是5G手机应用的开始,也是大数据要爆发的一年。5G带来的是每秒钟10G的数据,会给每家公司都带来海量的数据。那么传统的Java工具根本解决不了海量数据的存储。就更不用说海量数据的计算了。如果你对5G的感触不够深,可以回忆一下3G和4G的区别。
4.人才紧缺
根据十四五规划,大数据产业测算规模突破3万亿,规模逐渐上升,预计到2025年,大数据核心人才缺口将达到230万人。大数据人才往往趋向于互联网和金融行业,而在传统制造业上面人才匮乏,这严重制约着制造行业产业升级和发展。
六、大数据部门间业务流程分析