【数据挖掘】知识总结——背景、定义、一般流程及应用（一）

数据挖掘知识总结（一）

1.数据挖掘产生的背景&&驱动力

DRIP（Data Rich Information Poor）

• 四种主要技术激发了人们对数据挖掘技术的开发、应用和研究的兴趣：

1. 超大规模数据库的出现，如商业数据仓库和计算机自动收集数据记录手段的普及
2. 先进的计算机技术，如更快和更大的计算能力和并行体系结构
3. 对海量数据的快速访问，例如分布式数据存储系统的应用
4. 统计方法在数据处理领域应用的不断深入

• 大量信息给人们带来方便的同时也带来一大堆问题：

1. 信息冗余、信息真假难以辨识、信息安全难以保证、信息形式不一、难以统一处理等。
2. “数据过剩”、“信息爆炸”和“知识贫乏”等现象相继产生。

• 数据挖掘首次出现在1989年举行的第十一届国际联合人工智能学术会议上。
• 数据挖掘思想来自于机器学习、数据库系统、模式识别和统计。
• 需要是发明之母。近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。获取的信息和知识可以广泛用于各种应用，包括商务管理，生产控制，市场分析，工程设计和科学探索等。

2.什么是数据挖掘？数据->知识（规律）

数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。
数据挖掘可以从技术和商业两个层面上定义。

1. 从技术层面上看，数据挖掘就是从大量数据中，提取潜在有用的信息和知识的过程。
2. 从商业层面看，数据挖掘就是一种商业信息处理技术，其主要特点是对大量业务数据进行抽取、转换、分析和建模处理，从中提取辅助商业决策的关键性数据。

3.数据挖掘的一般流程是什么？以及业界数据数据整合&分析的过程是什么？

数据挖掘一般流程：

1. 数据集选取

2. 数据预处理

• 数据清理
• 数据集成
• 数据归约
• 数据变换和数据离散化

3. 数据分析算法

4. 分析总结改进

业界数据数据整合&分析的过程：

4.举例数据挖掘在各个领域的应用，如医疗、交通、公共安全、个性化医疗、社交网络、精准消费。

1. 金融领域
   金融数据具有可靠性、完整性和高质量等特点。这在很大程度上利于开展数据挖掘工作以及挖掘技术的应用。数据挖掘在金融领域中有许多具体的应用，例如分析多维数据，以把握金融市场的变化趋势；运用孤立点分析等方法，研究洗黑钱等犯罪活动；应用分类技术，对顾客信用进行分类，为维持与客户的关系以及为客户提供相关服务等决策提供参考。

2. 医疗领域
   在人类的遗传密码、遗传史、疾病史以及医疗方法等医疗领域中，都隐藏着海量的数据信息。另外，对医院内部结构、医药器具、病人档案以及其他资料等的管理也产生了巨量的数据。对于这些巨量的数据，运用数据挖掘相关技术处理，从而得到相关知识规律，将有利于相关人员工作的开展。运用数据挖掘技术，在很大程度上有助于医疗人员发现疾病的一些规律，从而提高诊断的准确率和治疗的有效性，不断促进人类健康医疗事业的发展。

3. 零售和电商领域
   运用数据挖掘技术对这些海量的销售数据进行分析，可以有效地识别顾客的购买行为，从而把握好顾客购买的趋势。商家可以根据数据挖掘结果有针对性地采取有效措施，比如如何改进服务质量，确保顾客的满意度；如何提高商品的销售量；如何设计较优的运输路线以及采取怎样的销售策略等，从而提高企业效益。此外，由于数据挖掘的推荐系统已经成为电子商务的关键技术，通过数据挖掘，再对网站进行系统分析，对用户的行为模式加以识别，在增加客户黏性，提供个性化服务，优化网站设计等方面也取得了很好的效果。

4. 电信领域
   电信运营商已逐渐发展为一个融合了语音、图像、视频等增值服务的全方位立体化的综合电信服务商。运营商要合理地分析商业形式和模式，运用数据挖掘是非常有必要的。例如对用户行为、利润率、通信速率和容量、系统负载等电信数据，可以运用多维分析方法进行分析；要发现异常模式，可以运用聚类或孤立点分析等方法进行数据挖掘；要得到电信发展的影响因素，可以运用关联或序列等模式进行分析等。

5. 社交网络分析
   社交网络分析是从关系和结构两个方面来了解、度量和预测行为的科学。结合图论和非参数统计技术，研究人员利用数据，比如电话数据，或者表明人与人之间联系的观察数据，来识别网络内和跨网络的关键人员和关键群体，或者特殊模式和重要途径。我们可以通过这些数据来分析人们的活动取向，为公司的营销提供有力的依据，也可以利用多个社交媒体来交叉验证同一个人，这对于追踪犯罪行为、恐怖分子、恋童癖者尤为重要。

6. 交通领域
   该领域积累了大量的数据，比如出租公司积累的乘客出行数据和公交公司的运营数据。通过对乘客数据和运营数据进行分析和挖掘，能够为公交、出租公司科学的运营和交通部门的决策提供依据，比如合理规划公交线路，实时为出租车的行驶线路提供建议等。这样，不仅可以提升城市运力和幸福指数，还可以有效减少因交通拥堵问题造成的成本浪费。另外，航空公司也可依据历史记录来寻找乘客的旅行模式，以便提供更加个性化的服务，合理设置航线等。