数据挖掘2.1——绪论 知识点整理

数据挖掘是一个涵盖多个领域的交叉学科，旨在从大规模数据集中发现有用的模式、关系和信息。在本文中，我们将介绍数据挖掘的背景、定义、过程、任务和应用，以及相关的问题和挑战。

参考

https://blog.csdn.net/qq_41433002/article/details/123260714

1.数据挖掘背景、 历史及发展

数据挖掘起源于数据库领域，但随着计算能力的提高和大规模数据集的普及，它逐渐成为一个独立的研究领域。数据挖掘的历史可以追溯到上世纪80年代，随后在商业、科学和社会领域得到广泛应用。数据挖掘的发展与机器学习、统计学、数据库技术和人工智能等领域的交叉融合密不可分。

2.数据挖掘定义

2.1数据定义

数据是代表一个或一组变量的定性或定量属性的信息片段。 数据通常被视为信息和知识的最低层次的抽象。

数据类型

• 连续、二值
• 离散、字符串
• 符号

存储

• 物理
• 逻辑

主要问题

• 类型转换
• 错误

2.2数据挖掘定义

数据挖掘是从大量的、 不完全的、 有噪声的、 模糊的、 随机的数据中提取隐含在其中的、 人们事先不知道的、 但又是潜在有用的信息和知识的过程。
Data Mining is the process of automatically extracting interesting useful hidden patterns from usually massive， incomplete and noisy data. [Wikipedia]

3.数据挖掘过程

1. 数据是未经加工和修饰的原料。
   数据是可以记录、 通信和能识别的符号， 它通过有意义的组合来表达现实世界中的某种实体 （具体对象、 事件、 状态或活动） 的特征。

2. 信息是对数据经过过滤、 融合、标准化、 对比、 翻译、 分类、 管理等一系列环节处理后得到的。

3. 知识是对信息内容进行提炼、 比较、 挖掘、 分析、 概括、判断和推论得到的。

4.数据挖掘任务关联规则挖掘

• 关联规则挖掘
• 非监督式机器学习 —— 聚类
• 监督式机器学习
  • 离散标签预测 —— 标签分类
  • 连续标签预测 —— 数值预测
• 回归

5.数据挖掘应用

5.1应用场景

商务智能：通过数据挖掘等技术可以获得隐藏在各种数据中的有利信息，从而帮助商家进一步调整营销策略。
信息识别：信息识别是指信息接受者从一定的目的出发，运用已有的知识和经验，对信息的真伪性、有用性进行辨识和甄别。
搜索引擎：根据用户提供的关键词，在互联网上搜索用户最需要的内容。
辅助医疗：对大量历史诊断数据进行分析和挖掘，有助于医生对病人的病情进行有效的判断。

5.2存在的问题

数据类型的多样性
高维度数据
噪声数据
分析与挖掘结果的可视化
隐私数据的保护

完善

数据挖掘 2.1 —— 绪论

数据挖掘是一个涵盖多个领域的交叉学科，旨在从大规模数据集中发现有用的模式、关系和信息。在本文中，我们将介绍数据挖掘的背景、定义、过程、任务和应用，以及相关的问题和挑战。

1. 数据挖掘背景、历史及发展

数据挖掘起源于数据库领域，但随着计算能力的提高和大规模数据集的普及，它逐渐成为一个独立的研究领域。数据挖掘的历史可以追溯到上世纪80年代，随后在商业、科学和社会领域得到广泛应用。数据挖掘的发展与机器学习、统计学、数据库技术和人工智能等领域的交叉融合密不可分。

2. 数据挖掘定义

2.1 数据定义

数据是指存储在计算机或其他媒体中的事实和统计信息的集合。数据可以是结构化的（如数据库中的表格数据）、半结构化的（如XML文档）或非结构化的（如文本文档、图像和音频文件）。

2.2 数据挖掘定义

数据挖掘是从大规模数据集中提取有用信息和模式的过程。它结合了数据库技术、机器学习、统计学和数据可视化等方法，用于识别、分析和预测数据中的隐藏模式和关系。

3. 数据挖掘过程

数据挖掘过程通常包括以下步骤：

1. 数据收集：获取数据源，并将其存储在适当的数据仓库中。
2. 数据清洗：处理数据中的噪声、缺失值和异常值，以确保数据质量。
3. 数据探索：通过统计分析和可视化工具来理解数据的特征和分布。
4. 特征工程：选择和提取用于建模的重要特征。
5. 模型建立：选择适当的数据挖掘算法，并训练模型。
6. 模型评估：使用评估指标来评估模型的性能。
7. 模型部署：将训练好的模型部署到实际应用中，以进行预测和决策。

4. 数据挖掘任务 - 关联规则挖掘

关联规则挖掘是数据挖掘中的一项重要任务，用于发现数据中的关联关系。它通常应用于市场篮分析和购物篮分析，以揭示不同商品之间的购买关系。例如，如果一位顾客购买了牛奶，那么购买面包的概率也可能很高。

5. 数据挖掘应用

5.1 应用场景

数据挖掘在各个领域中有广泛的应用，包括但不限于：

• 金融领域：信用评分、风险管理、欺诈检测。
• 医疗保健：疾病预测、药物发现。
• 零售业：市场篮分析、库存管理、定价策略。
• 社交媒体：用户行为分析、内容推荐。
• 物联网：传感器数据分析、设备故障预测。

5.2 存在的问题

数据挖掘应用也面临一些问题和挑战，包括隐私保护、数据采集、数据质量、模型解释性、计算性能等方面的问题。另外，合规性和伦理问题也需要考虑，尤其是在处理敏感数据时。