数学建模之数据分析【二】：什么是数据？

数据是当今我们随处可见的一个词。一般来说，数据是事实、信息和统计数据的集合，可以采用多种形式，例如数字、文本、声音、图像或任何其他格式。
在本文中，我们将了解 什么是数据、 数据的类型、 数据的重要性以及 数据的特征。

一、什么是数据

根据牛津大学的说法，“数据是不同的信息，通常以特殊的方式格式化”。数据可以被测量、收集、报告和分析，因此通常使用图表、图像或其他分析工具将其可视化。原始数据（“未处理的数据”）可能是在研究人员“清理”和纠正之前的数字或字符的集合。必须对其进行纠正，以便我们可以消除异常值、仪器或数据输入错误。数据处理通常分阶段进行，因此一个阶段的“处理后的数据”也可以被视为后续阶段的“原始数据”。现场数据是在不受控制的“现场”环境中收集的数据。实验数据是在科学研究观察中产生的数据。数据可以通过以下方式生成：

• 人类
• 机器
• 人机结合

它通常可以在任何以结构化或非结构化格式生成和存储信息的地方生成。

二、什么是信息

信息是经过处理、组织或结构化的数据，使其有意义、有价值和有用。它是被赋予背景、相关性和目的的数据。它提供可用于决策、解决问题、沟通和各种其他目的的知识、理解和见解。

三、为什么数据很重要

• 有助于做出更好的决策
• 通过查找表现不佳的原因来帮助解决问题
• 有助于评估绩效
• 有助于改进流程
• 有助于了解消费者和市场

四、数据类别

数据可以分为两个主要部分：

4.1 结构化数据

这类数据将数据组织成特定的格式，便于搜索、分析和处理。结构化数据存在于关系数据库中，其中包括数字、数据和类别等信息。

4.2 非结构化数据

非结构化数据不符合特定的结构或格式。包括一些文本文档、图像、视频和其他未经额外处理就不易组织或分析的数据。

五、数据类型

一般来说，数据可以分为两部分。

5.1 类别数据

在分类数据中，我们看到具有已定义类别的数据，例如：

• 婚姻状况
• 政治党派
• 眼睛的颜色

5.2 数值数据

数值数据可以进一步分为两类：

• 离散数据： 离散数据包含具有离散数值的数据，例如儿童数量、每小时缺陷数等。
• 连续数据：连续数据包含具有连续数值的数据，例如重量、电压等。

5.3 名义尺度

名义尺度将数据分为几个不同的类别，其中不暗示排名标准。例如性别、婚姻状况。

5.4 普通量表

顺序量表将数据分类为不同的类别，其中隐含排名例如：

• 教师职称：教授、副教授、助理教授
• 学生等级：A、B、C、DEF

5.5 间隔刻度

间隔刻度可以是有序刻度，在此期间测量之间的差异是有意义的量，但测量没有真正的零点。例如：

• 温度以华氏度和摄氏度为单位。
• 年

5.6 比率标尺

比率标尺可以是有序标尺，其中测量值之间的差异是有意义的量，因此测量值具有真正的零点。因此，我们可以对真实规模的数据进行算术运算。例如：体重、年龄、薪水等。

六、什么是数据处理周期？

数据处理周期是指应用于原始数据以生成有意义的见解的迭代转换序列。被视为具有不同阶段的通道：

6.1 数据采集​​

此阶段包括从各种来源收集原始数据的方法。这可能涉及传感器读数、抓取网络数据或通过调查和应用程序日志收集信息。

6.2 数据准备

原始数据本质上是混乱的，需要在分析之前进行清理和预处理。此阶段涉及识别和处理缺失值、纠正不一致、将数据格式化为一致结构以及可能删除异常值等任务。

6.3 数据输入

将预处理的数据加载到适合进一步处理和分析的系统中。这通常涉及将数据转换为机器可读的格式并将其存储在数据库或数据仓库中。

6.4 数据处理

在这里，数据经过各种操作和转换以提取有价值的信息。这可能包括聚合、过滤、排序、特征工程（从现有特征创建新特征）以及应用机器学习算法来发现模式和关系。

6.5 数据输出

使用各种技术对转换后的数据进行分析，以生成见解和知识。这可能涉及统计分析、可视化技术或构建预测模型。

6.6 数据存储

处理后的数据和生成的输出以安全且可访问的格式存储，以供将来使用、参考或输入进一步的分析周期。

数据处理周期是迭代的，这意味着一个阶段的输出可以成为另一阶段的输入。这样可以持续细化、更深入的分析，并从原始数据中创建日益复杂的见解。

七、我们如何分析数据？

数据分析构成了数据周期的主要步骤，我们从原始数据中发现知识和有意义的信息。这就像把手伸进沙堆深处，寻找那些宝石。以下是涉及的关键方面的细分：

7.1 定义目标和问题

首先，分析您需要数据的目的，或者换句话说，确定您的目标。您是否正在尝试进行季节性排队、确定客户行为或进行预测？明确定义的目标，实际上实用的分析技术将是确保与目标保持一致的关键因素。

7.2 选择正确的技术

事实上，数据分析技术如此之多，让人不知所措，难以选择合适的技术。以下是一些常见的方法：以下是一些常见的方法：

• 统计分析： 在这里，您可以探索平均值、中位数、标准差和假设检验等度量来总结和准备数据。在调查因果因素的手段中，它揭示了这些关系。
• 机器学习： 算法依赖于先验数据来发现行为并预测行动。正是对于这些工作，数据的分类（对数据点进行分类的任务）和回归（预测连续值的工作）非常适合。
• 数据挖掘： 更重要的是，它意味着在巨大的数据集群中探索未知的行为和事件。关联规则学习和聚类等技术可用于识别潜在连接。
• 数据可视化： 图表、图形和仪表板恰好是数据可视化的工具，可以轻松识别原始数据中似乎不清楚的模式、趋势和披露

7.3 探索和清理数据

在进行任何类型的深度分析之前，了解数据的本质至关重要。 EDA 分析配置文件的构建、缺失值的发现以及绘制分布图，以便弄清楚整个数据的含义。数据清理过程纠正不一致、错误和缺失值，这有助于根据高质量信息生成清晰的图片。

7.4 执行分析

一旦选择了所有技术并进行了数据清理，您就可以直接进行数据处理本身。除其他技术外，这可能包括执行某些测试，这些测试可以是高级回归或机器学习算法，或者精心设计的数据可视化。

7.5 解释结果

仔细提取分析结果的含义，不要只是建立模型，而是展示它们的含义，通过分析的局限性来阐明观点，并使用你的起始问题来得出结论。

7.6 交流见解

通常进行数据分析是为了推进决策。通过报告、演示或交互式图表等方式向所有利益相关者如实传达调查结果。

八、数据领域的十大岗位

数据领域 10 个热门职位，根据其关注领域进行分类：

8.1 数据科学与机器学习

• 数据科学家： 数据是数据世界的明星，数据科学家利用他们的统计、编程和机器学习知识来解释和建立关系，或预测未来。
• 机器学习工程师： 这些专业人员通常负责循环学习模型的生成、部署和维护，以解决一些重要的业务问题。

8.2 数据工程与架构

• 数据工程师： 这些人是数据管理员！数据工程师设计和维护允许数据输入的结构，促进高效处理和存储。
• 数据架构师： 这些人员为一般业务创建数据管理方法，从而确保数据的恒定、安全和可扩展。

8.3 数据分析与商业智能

• 数据分析师： 数据分析师考虑了数据泄漏、数据形成和数据挖掘等重要方面来帮助他们做出决策。
• 商业智能分析师： 他们是组织内将翻译后的关键数据信息转化为实用建议以提高组织绩效的人员。

8.4 其他数据驱动领域

• 营销分析师： 营销分析师在利用数据方面发挥的作用就像是，它使他们能够了解客户的行为，进行活动评估，并从战略上改进营销模式。
• 财务分析师： 他们利用信息来衡量财务风险和回报，为投资目的和财务决策提供建议。
• 定量分析师： 事实上，他们通过应用复杂的金融数学模型和分析，对金融风险进行定性和定量分析并制定交易策略。
• 数据安全分析师： 他们的工作是保护敏感数据免遭未经授权的访问、数据泄露和更多网络安全挑战。

九、结论

经过数据处理、分析和解释以提取有意义的见解或信息时，数据就会变得有价值。这个过程涉及各种技术和工具，例如数据挖掘、数据分析和机器学习。