什么是数据挖掘?分析如何揭示洞察

数据挖掘是通过大量数据集进行分类以识别趋势和模式并建立关系的自动化过程。

如今的组织正在收集来自各种来源的日益增长的信息量，包括网站、企业应用程序、社交媒体、移动设备以及日益增加的物联网(IoT)。

最大的问题是：如何从这些信息中获得真正的商业价值?数据挖掘可以在很大程度上做出贡献。数据挖掘是通过大量数据集进行分类的自动化过程，以通过数据分析来识别趋势和模式，建立关系，解决业务问题或产生新的机会。

查看数据来了解过去发生的事情以便能够在现在明智地行动只是一方面。数据挖掘工具和技术让你可以预测未来会发生什么，并采取相应的行动来利用即将到来的趋势。

“数据挖掘”这个术语在IT行业中被广泛使用。它常常被应用于各种大规模的数据处理活动，如收集、提取、仓储和分析数据。它还可以包括决策支持的应用程序和技术，如人工智能、机器学习和商业智能。

数据挖掘在商业和研究的很多领域被使用，包括产品开发、销售和营销、遗传学和控制论——这里仅举几例。如果使用得当，数据挖掘与预测分析相结合可以为你提供比没有使用这些工具的竞争对手更大的优势。

从数据挖掘中获取业务价值

数据挖掘的真正价值在于能够以数据中的模式和关系的形式挖掘隐藏的宝石，这可以用来做出对企业有重大影响的预测。

例如，如果一家公司确定特定的营销活动导致在该国某些地区的某种产品的特定型号的销售额非常高，而在其它地区则不然，那么它可以在将来重新调整该广告活动以获得最大的回报。

该技术的好处可能会因业务类型和目标而异。例如，零售业的销售和营销经理可能用不同的方式挖掘客户信息，以提高转化率，这种提高转化率的方式迥异于航空公司或金融服务业。

不管是什么行业，过去应用于销售模式和客户行为的数据挖掘都可用于创建预测未来销售和行为的模型。

数据挖掘也有助于取消可能损害企业的活动。例如，你可以使用数据挖掘来提高产品的安全性，或检测保险和金融服务交易中的欺诈活动。

数据挖掘的应用

数据挖掘几乎适用于所有行业的各种应用。

·零售商可以部署数据挖掘，以更好地识别人们根据过去的购买习惯可能购买哪个产品，或者哪些商品在一年的某些时间可能热卖。这可以帮助商家规划库存和存储布局。

·银行和其他它金融服务提供商可以挖掘与其客户帐户、交易和渠道偏好相关的数据，以更好地满足他们的需求。它们还可以从他们的网站和社交媒体互动中分析数据，以增加现有客户的忠诚度并吸引新客户。

·制造企业可以使用数据挖掘在生产过程中发现模式，从而可以精确地识别出瓶颈和有缺陷的方法，并设法提高效率。它们还可以将知识从数据挖掘应用于产品设计，并根据客户体验的反馈进行调整。

·教育机构可以从数据挖掘中受益，例如分析数据集，以预测学生的未来学习行为和表现，然后利用这些知识来改进教学方法或课程。

·医疗保健提供者可以挖掘和分析数据，以确定向患者提供护理和降低成本的更好的方法。在数据挖掘的帮助下，他们可以预测需要照顾的病人数量以及患者需要什么类型的服务。在生命科学领域，数据挖掘可用于从大量生物数据中获取洞察，帮助开发新药和其他治疗方法。

·在包括医疗保健和零售在内的多个行业，你可以使用数据挖掘来检测诈骗和其它滥用行为——比传统的识别此类活动的方法要快得多。

数据挖掘的关键组成部分

数据挖掘的过程包含满足不同需求的几个不同的组件：

·预处理。在应用数据挖掘算法之前，你需要构建一个目标数据集。数据的一个常见来源是数据集市或仓库。你需要执行预处理才能分析数据集。

·数据清洗和准备。目标数据集必须清理和准备，以消除“噪点”，处理缺失值，过滤外围的数据点(用于异常检测)以消除错误或进行进一步的探索，创建分段规则以及执行与数据准备相关的其它功能。

·关联规则学习(也称为市场篮子分析)。这些工具搜索数据集中的变量之间的关系，例如确定商店中的哪些商品通常被一起购买。

·集群。数据挖掘的这个特征用于发现数据集中的某种程度上互相类似的组和结构，而不用数据中的已知结构。

·分类。执行分类的工具将已知结构推广到适用于新的数据点，例如当电子邮件应用程序尝试将邮件分类为合法邮件或垃圾邮件时。

·回归。这种数据挖掘技术用于在给定特定数据集时预测一系列数值，例如销售量、住房价值、温度或价格。

·总计。该技术提供了数据集的精简表示，包括可视化和报告生成。

有数十家供应商提供数据挖掘软件工具，一些提供专门的软件，其它的通过开源的努力提供产品。

提供专门的数据挖掘软件应用程序的关键供应商包括Angoss、Clarabridge、IBM、Microsoft，Open Text、Oracle、RapidMiner、SAS Institute和SAP。

提供开源数据挖掘软件和应用程序的组织包括Carrot2、Knime、Massive Online Analysis、ML-Flex、Orange、UIMA和Weka。

数据挖掘的风险和挑战

数据挖掘也有其风险和挑战。与涉及潜在的敏感或个人身份信息的使用的任何技术一样，安全和隐私是最大的问题之一。

在基本层面上，被开采的数据必须完整、准确和可靠;毕竟，你正在用它做重要的业务决策，并经常与公众、监管机构、投资者和业务合作伙伴进行互动。现代数据形式还需要新型的技术，例如将来自各种分布式计算环境(又称大数据集成)的数据集合起来的技术，以及诸如图像和视频、时间数据和空间数据等更复杂的数据组合在一起的技术。

获取正确的数据，然后将其放在一起，以便我们可以挖掘，这不是对IT的挑战的结束。云、存储和网络系统需要实现数据挖掘工具的高性能。我们要把从数据挖掘中得到的信息清晰地呈现给希望对其进行操作和解读的广大用户。你将需要具备数据科学和相关领域技能的人才。

从隐私的角度来看，挖掘与人们行为方式相关的信息，他们购买什么，访问什么网站等等的想法可以引起企业收集太多信息的担忧。这不仅影响你的技术实施，而且还会影响你的业务战略和风险状况。

除了如此彻底的追踪个人的道德规范外，还有法律规定如何收集数据、识别一个人并共享数据。美国义务型可携带式健康保险法案(HIPAA)和欧盟的通用数据保护指令(GDPR)是众所周知的。

在数据挖掘中，准备本身的初始行为(例如聚集然后使数据合理化)可以揭示可能危及数据机密性的信息或模式。因此，不经意地违反道德问题或法律要求是有可能的。

数据挖掘的每一步还需要数据保护，以确保数据不被偷窃、改变或秘密访问。安全工具包括加密、访问控制和网络安全机制。

数据挖掘是一个关键的区分因素

尽管存在这些挑战，但数据挖掘已成为很多组织IT战略的重要组成部分，这些组织力图通过收集或访问的所有信息获得价值。随着预测分析、人工智能、机器学习和其它相关技术的不断进步，这一驱动力无疑将加速。

本文转自d1net（转载）