大数据（一）定义、特性
本文目录：
一、写在前面的话
一个星期前，我到楼顶浇花，偶遇本楼邻居，她闲话中提起5楼某家的2位今年都走了，听到这个消息，我心里很难受，眼泪忍不住掉下来。。。
其实我和五楼的那家人并不熟悉，仅有的几次交流也是在十几年前。那时我还在上班，回家时在家附近总能碰到那家的女主人在遛狗。女主人是我们华工大宣传部的一位老师，短发，为人很爽朗。狗狗是一只白色的长毛京巴，狗狗年纪有点大了，跑两步就呼哧呼哧直喘气，有时还会趴地上休息一下，每当这个时候，女主人总是耐心地站在路边等待狗狗，眼神很温柔宠溺，仿佛看着自家的孩子。我喜欢逗狗狗，摸摸它的脑袋，问它今天乖不乖，有没有好好吃饭。。。
男主人也是我们华工大的老师，我没有机会和他认识，但知道他义务为我们这栋楼做了很多事情，例如处理很多电梯相关事情，到现在，电梯的持有人还是写着这位王老师的名字。
后来我因为变故，没有再上班，留在家里做家务，基本都不出门，也没有什么机会碰到五楼的那两位邻居。我记得王老师曾用的签名是：给点阳光就灿烂，给个箩筐就下蛋。。。很幽默乐观的一个人。疫情开始后，王老师还在楼群里发过疫情搞笑图片，逗大家开心。。。
一切仿佛就在昨天，没想到两位长辈走得那么突然。。。
好人会有好报，今生的苦难修炼会换来来世的一切安好。谨以此文纪念曾经的老邻居。
逆境清醒
2023.8.24
二、大数据定义
大数据定义
大 数 据 (Big Data ) 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据是指数据规模巨大、类型多样、传统数据处理工具无法高效处理的数据集合。它可以通过多种方式生成，包括互联网、社交媒体、传感器、金融交易等。
大数据通常具有三个特点：数据规模大、数据类型多样和数据处理速度快。
大数据的应用领域包括商业智能、金融、医疗保健、能源、农业、交通等。利用大数据技术可以从数据中获取有价值的信息和知识，以支持决策制定、预测分析、市场营销等方面的工作。
大公司对“大数据”的定义：
（1）、Oracle的定义
Oracle的大数据定义：
简而言之，大数据指非常庞大、复杂的数据集，特别是来自新数据源的数据集，其规模之大令传统数据处理软件束手无策，却能帮助我们解决以往非常棘手的业务难题。
（2）、研究机构Gartner：
对于“大数据”（Big data）研究机构Gartner给出了这样的定义：
“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
（3）、麦肯锡全球研究所给出的定义是：
麦肯锡全球研究所的大数据定义：
一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
三、大数据特性
大数据特性：
♦ 大量 (Volume) ：数据的大小决定所考虑的数据的价值和潜在的信息；
♦ 高速 (Velocity) ：指获得数据的速度；
♦ 多样化 (Variety) ：数据类型的多样性，数据类型众多；
♦ 价值 (value) ：合理运用大数据，以低成本创造高价值。
♦ 真实性 (veracity) ：数据的质量。
3.1、大数据的大量 (Volume) 特性
大数据的大量特性指的是数据量的巨大。这些数据通常由传感器、移动设备、社交媒体、金融数据、医疗记录等数据来源产生。
大数据的大量特性包括以下几个方面：
♦ 数据量巨大： 数据量从几个GB到数百PB不等，规模非常巨大。
♦ 数据增长快速：数据以指数级增长，需要使用不断升级的技术和架构才能处理大规模数据。
♦ 数据来源多样：数据来源包括传感器、移动设备、社交媒体、金融数据、医疗记录等多个领域。
♦ 数据类型多样：数据不仅包括结构化数据，还包括非结构化数据和半结构化数据，如文本、图像、音频和视频等多种类型。
♦ 数据复杂度高：数据往往是高度复杂的，包含大量的关联、交互和变化，因此需要高效的处理和分析技术。
大量的数据给数据处理和分析带来了很大的挑战，需要使用高级技术和工具来处理和分析这些数据。
3.2、大数据的高速(Velocity)特性
大数据的高速(Velocity)特性是指大数据在产生、传输、存储和处理的速度非常快，数据量巨大，常常是以毫秒或微秒级别计算的。
大数据的高速特性主要体现在以下几个方面：
♦ 数据实时产生：大数据往往是实时生成的，例如社交媒体上的用户行为、物联网设备产生的传感器数据等。这些数据需要实时获取和处理。
♦ 数据传输速度快：随着网络带宽和数据传输技术的不断提升，大量数据能够在短时间内快速的传输到目标系统，如云端存储和数据处理平台。
♦ 数据存储速度快：将大客户端数据快速地写入到数据库中、实时处理数据等。
♦ 数据处理速度快：大数据处理采用分布式计算和并行计算技术，能够快速地处理大量数据，例如实时数据挖掘、实时分析和报告等。
♦ 数据更新速度快：大数据处理需要非常高的数据更新速度，从而保证数据的实时性和准确性。
综上所述，大数据的高速特性是指数据产生、传输、存储和处理的速度非常快，能够快速响应用户需求，实现实时的数据分析和决策。
3.3、大数据的多样化 (Variety) 特性
大数据的多样化主要体现在以下几个方面：
♦ 数据来源多样化：大数据可以来自各种各样的来源，如传感器、社交媒体、日志、传统数据库等。
♦ 数据类型多样化：大数据类型可以是结构化数据（如关系型数据库中的表格数据）、半结构化数据（如XML文件）和非结构化数据（如图片、视频和声音等）。
♦ 数据格式多样化：大数据可以采用各种不同的标准和格式进行存储和传输，如CSV、JSON、XML、Avro、ORC等。
♦ 数据内容多样化：大数据可以包含各种类型的信息，如文本、数字、图像、音频等，甚至包括无形的事物，如声音、情感、意见等。
♦ 数据规模多样化：大数据可以是海量、超大量、甚至是呈指数级别的数据，这也给数据分析和处理带来了很大的挑战。
3.4、大数据的价值 (value) 特性
大数据的价值特性包括以下几个方面：
♦ 体量：大数据具有庞大的数据量，这使得人们可以更全面、更准确地了解和预测事物的变化趋势，从而更好地做出决策。
♦ 多样性：大数据可以来自各种来源，如传感器、社交媒体、移动设备等等，因此可以包含不同类型的数据，如文本、图像、视频等，这种多样性促进了数据的整合和分析，从而产生更精确的结论。大数据包括结构化数据（如数据库中的数据）和非结构化数据（如社交媒体、日志和图片等），这些数据来源不同、类型不同、格式不同，为决策提供了更全面的信息基础。
♦ 速度：大数据的速度特征是指数据的处理速度和更新速度非常快，甚至是实时的。大数据具有高速处理数据的能力，可以在短时间内处理大量数据，从而快速地获取信息，这样的数据可以帮助企业快速做出决策，抢占市场获得市场的竞争优势。
♦ 规模：大数据的规模非常大，包含了数十亿或数百亿的数据点。这种数据规模使得企业可以从更大的数据集中获取更好的信息，从而更好地预测市场和客户需求。
♦ 价值：大数据的真正价值在于从数据中提取出有用信息，进行分析和应用。这对企业来说非常重要，因为它可以帮助企业做出更好的商业决策，改进产品和服务，优化市场营销等。
♦ 精确性：大数据的精确性是指数据的准确性和可信度。保证数据的质量将有助于企业做出更好的决策，提高效率和效益。
♦ 可视化：数据可视化可以让人们更好地理解数据，从而发现数据中的模式和趋势。
♦ 开放性：大数据需要以开放的方式进行共享和访问，以便更多的人可以使用和分析数据。
总体来说，大数据价值特性的综合作用是帮助企业更好地理解他们的业务、客户和市场，并根据数据分析结果进行策略制定和执行，从而获得更大的商业价值。
3.5、大数据的真实性 (veracity) 特性
大数据的真实性 (veracity) 特性指的是数据的精确性和可靠性。由于大数据通常来自各种不同的来源和格式，因此它们可能存在质量问题，例如错误、缺失、重复、歧义等。因此，对于大数据系统来说，确保数据的真实性非常重要，以确保系统的准确性和可靠性。
为了保证数据的真实性，可以采取以下措施：
♦ 数据清洗：通过清洗数据来去除错误、重复和不必要的信息，以提高数据的质量和准确性。
♦ 数据验证：对数据进行验证以确保其符合业务规则和标准，确保数据的正确性和可靠性。
♦ 数据监控：对数据源进行监控，及时发现和纠正数据质量问题，以保证数据的真实性。
♦ 数据库管理：对数据库进行管理，包括备份、恢复和维护，以确保数据的安全和一致性。
♦ 数据共享：对外共享数据时需要确保数据的真实性和安全性，确保数据不会被篡改或滥用。
总之，大数据的真实性 (veracity) 特性是确保数据的质量和可靠性，保证大数据系统的正确性和可靠性的关键要素。
四、大数据的单位
最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
它们按照进率1024（2的十次方）来计算：
1 Byte =8 bit
1 KB = 1,024 Bytes = 8192 bit
1 MB = 1,024 KB = 1,048,576 Bytes
1 GB = 1,024 MB = 1,048,576 KB
1 TB = 1,024 GB = 1,048,576 MB
1 PB = 1,024 TB = 1,048,576 GB
1 EB = 1,024 PB = 1,048,576 TB
1 ZB = 1,024 EB = 1,048,576 PB
1 YB = 1,024 ZB = 1,048,576 EB
1 BB = 1,024 YB = 1,048,576 ZB
1 NB = 1,024 BB = 1,048,576 YB
1 DB = 1,024 NB = 1,048,576 BB
五、大数据涉及的数据类型
| 大数据涉及的数据类型 | |||
| 数据类型 | 概念 | 表现形式 | 典型场景 |
| 结构化数据 | 也称行数据，是具备统一的结构、能够用行列二维形式表达和管理的数据，如关系型数据库数据。 | 数据库表等 | 企业ERP、财务、HR数据库等 |
| 半结构化数据 | 是一种适于数据库集成的数据模型，也可以是一种标记服务的基础模型，用于Web上共享信息。 | 邮件、HTML、报表等 | 邮件系统、网页信息、报表系统等 |
| 非结构化数据 | 数据结构不规则，不方便用行列二维形式表达的数据，如图片、文本、音视频等。 | 视频、音频等 | 在线视频内容、音频内容、图形图像等 |
六、大数据五大核心领域
♦ 数据存储与计算、
♦ 数据管理、
♦ 数据流通、
♦ 数据应用、
♦ 数据安全。
七、大数据趋势
♦ 云计算：云计算已成为企业存储和处理大量数据的首选方式。
♦ 人工智能和机器学习：人工智能和机器学习技术正在越来越多地应用于大数据分析和预测。
♦ 区块链：区块链技术可以用于数据安全和隐私保护。
♦ 数据科学：数据科学领域的专业人士正在与大数据分析师一起工作，以更好地理解和利用大数据。
♦ 数据质量管理：数据质量管理已成为大数据管理中的一个重要领域，以确保数据的准确性和一致性。
♦ 数据可视化：大量数据需要通过数据可视化工具进行呈现，以便更好地理解和利用数据。
♦ 边缘计算：边缘计算技术可以在现场处理大量数据，从而减少数据传输和处理时间。
大数据文章：
推荐阅读：
| [你找到牵手一辈子的人了吗？] 七夕情人节特辑 |
| 数字技术能让古籍“活过来”吗？ |
| 心情不好时，帮自己训练个AI情绪鼓励师吧（基于PALM 2.0 finetune) |
| 深度学习框架TensorFlow |
| 人工智能开发人员工作流程、看法、工具统计数据 |
| 2023 年6月开发者调查统计结果——最流行的技术（2） |
| 2023 年6月开发者调查统计结果——最流行的技术（1） |
| 让Ai帮我们画个粽子，它会画成什么样呢？ |
|
|
|
|
| 给照片换底色（python+opencv） | 猫十二分类 | 基于大模型的虚拟数字人__虚拟主播实例 |
|
|
|
|
| 计算机视觉__基本图像操作（显示、读取、保存） | 直方图（颜色直方图、灰度直方图） | 直方图均衡化（调节图像亮度、对比度） |
|
|
|
|
|
| ||
|
| ||
| Three.js实例详解___旋转的精灵女孩(附完整代码和资源)（一） | ||
|
|
|
|
| 立体多层玫瑰绘图源码__玫瑰花python 绘图源码集锦 | ||
|
|
|
|
| 用代码写出浪漫__合集（python、matplotlib、Matlab、java绘制爱心、玫瑰花、前端特效玫瑰、爱心） | python爱心源代码集锦（18款） | |
|
|
|
|
|
|
| |
| 用代码过中秋，python海龟月饼你要不要尝一口？ | ||
|
|
|
|
| 草莓熊python turtle绘图（风车版）附源代码 | ||
|
|
| |
| 皮卡丘python turtle海龟绘图（电力球版）附源代码 | ||
|
|
|
|
| 2023年4月多家权威机构____编程语言排行榜__薪酬状况 | ||
|
|
|
|
| 【CSDN云IDE】个人使用体验和建议（含超详细操作教程）（python、webGL方向) | ||
|
|
|
|
679
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
