【第一话】他居然只用了一把王者的时间就入门了大数据？

原创

已于 2022-03-16 23:17:00 修改 · 1.8w 阅读

262 ·

CC 4.0 BY-SA版权

文章标签：

#big data #大数据 #数据科学 #人工智能 #原力计划

于 2021-12-13 20:52:36 首次发布

🌕写在前面

🍊博客主页：kikoking的江湖背景

🎉欢迎关注🔎点赞👍收藏⭐️留言📝

🌟本文由 kikokingzz 原创，CSDN首发！

📚参考书籍：《大话数据科学》

📆首发时间：🌹2021年12月13日🌹

🆕最新更新时间：🎄2021年12月13日🎄

✉️坚持和努力一定能换来诗与远方！

🙏作者水平很有限，如果发现错误，请留言轰炸哦！万分感谢感谢感谢！

20th Century Alchemist插画图片壁纸

🍊2.3 数据挖掘标准过程（CRISP-DM）

🔥1.大数据的定义

🍊1.1大数据的概念

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据主要解决海量数据的采集、存储和分析计算问题。

例如：你的电脑硬盘容量只有2T，但是需要存储一个100T的文件，这时候你的电脑容量就不够用了，无法通过传统主流工具在合理时间内存储管理，而这就是大数据所要解决的事情！

🍊1.2大数据的特点

💎1.大量：数据量巨大，数据的记录或实例数量大

截至目前，人类生产的所有印刷材料的数据量是200PB，而历史上全人类总共说过的话的数据量大约是5EB。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。

💎2.高速：数据成长快速，变化快速，算法快速，唯快不破

这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2025年，全球数据使用量将达到163ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。

💎3.多样：数据变量繁杂，包含结构化和非结构化数据

这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以数据库/文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。

💎4.低价值密度：分析结果的价值密度低

价值密度的高低与数据总量的大小成反比。比如，在一个10TB的文件中提取1MB的有用信息，如何快速对有价值数据“提纯”成为目前大数据背景下待解决的难题。

💎5.怀疑：数据来源和分析结果的正确性需要评价

🍊1.3大数据的价值

对于我们日常来说大数据可以为我们带来什么帮助呢？我们从以下这几个方面看看：

🍓1.大数据可以帮助企业更有效率，更快速，更省钱

具体实现：及时解析故障、问题和缺陷的根源；数据挖掘以规避欺诈行为

🍓2.大数据可以促使营销、份额、品质大幅增长

具体实现：根据客户的购买习惯，为其推送可能感兴趣的优惠信息；从大量客户中识别出金牌客户；对大量消费者或服务企业进行精准营销

🍓3.大数据可以促进企业转型或商业模型的改变

具体实现：制造业（如IBM）转型为信息服务业，中小微企业利用大数据做服务转型；传统企业面临互联网压力，必须进行转型，充分利用大数据的价值

🍓4.大数据可以形成平台互动共享的网络模型

具体实现：大数据使用模型，进而加深对重要用户的洞察力，可以追踪和记录其网络行为，识别业务影响；随着对服务利用的深刻理解，加快利润增长；同时跨多系统收集数据，发展IT服务目录

🍊1.4 大数据涉及到的相关技术

🍓大数据的处理过程

采集------------>存储------------>预处理------------>建模------------>分析------------>形成结果

🍓大数据涉及的技术

涉及技术：以上整个过程涉及感知技术、存储技术、云计算技术、分布式处理技术等

建模分析技术有：统计学、数据挖掘、数据科学、机器学习、人工智能等