Python数据挖掘过程

数据挖掘的建模过程

1. 定义挖掘目标
   明确系统完成后想要达成什么样的效果。
   我们需要分析应用领域，了解相关领域的情况，熟悉背景知识，弄清用户需求。
2. 数据取样
   从业务系统中抽取一个与挖掘目标相关的样本数据子集。
   抽取数据的标准，一是相关性，二是可靠性，三是有效性。
   衡量取样数据质量的标准如下：
   1）资料完整无缺，各类指标项齐全。
   2）数据准确无误，反映的都是正常（而不是异常）状态下的水平。
3. 数据探索
   检验样本是否达到我们原来设想的要求，对数据进行探索，审核和必要的加工处理。
   数据探索和预处理的目的是为了保证样本数据的质量，从而为保证模型质量打下基础。
   数据探索主要包括：异常值分析、缺失值分析，相关分析和周期性分析等
4. 数据预处理
   当数据维度过大，如何进行将未处理、缺失值处理等都是数据预处理要解决的问题。
   由于采样数据中常常包含许多含有噪声、不完整，甚至不一致的数据，对数据挖掘所涉及的数据对象必须进行预处理。
   数据预处理主要包括：数据筛选、数据变量转换、缺失值处理、坏数据处理、数据标准化、主成分分析、属性选择、数据规约等。
5. 挖掘建模
6. 这是数据挖掘工作的核心环节。
   考虑本次建模属于数据挖掘应用中的那类问题(分类，聚类，关联规则，时许模式或者智能推荐)，选用哪种算法进行模型构建。
7. 模型评价
8. 从这些模型中自动找出一个最好的模型，还要根据业务对模型进行解释和应用。

数据挖掘建模工具
Python
Python是一种面向对象、解释型计算机程序设计语言，它拥有高效的高级数据结构，并且能够用简单而又高效的方式进行面向对象编程。
在数据挖掘领域，它提供了众多扩展库。例如：
科学计算扩展库NumPy、Scipy和matplotlib，它们分别为python提供了快速数组处理、数值运算以及绘图功能。
机器学习相关的Sklearn类库，它提供了完善的机器学习工具箱，包括数据预处理、分类、回归、聚类、预测、模型分析等。
总的来讲，python是一门比较适合数据挖掘的语言。