spss modeler建模3

7.8 spss modeler

---

1、缺失值分析与处理

1、数据理解的重要性

在数据挖掘项目中，数据理解常常不被重视。但其实数据理解在整个数据挖掘项目中扮演着非常重要的角色，可以说是整个项目的基石。在计算机领域有一句话，“ Garbage in，garbage out.”意思就是说，如果项目的输入数据没有经过科学的预处理，那所得到的结果必将是错误的。通过数据理解，可以理解数据的特性和不足，进而对数据进行预处理，使得将来得到的模型更加稳定和精确。其次通过理解数据项之间的关系，可以为建模时输入数据项和模型的选择提供重要的信息。

2、从商业理解到数据理解

以某超市的市场推广活动为例，从商业理解开始，了解如何用Modeler 进行数据理解。
商业理解
现状：
某超市新增加了体育服饰用品营业部。开业一段时间，由于体育服饰用品地处二楼，很多顾客还不知道，营业额没有达到预期。
目标：
经理决定进行一次促销活动，具体活动是向会员中的部分用户邮寄打折优惠卡。考虑到优惠卡制作费用，邮寄费用，经理希望能够向那些最有购买潜力的客户邮寄优惠卡。使这些潜在用户了解本超市的体育品牌和刺激他们进行消费。
活动计划：
首先调取自体育用品部营业来的所有销售记录，得到购买体育用品的会员记录，建立模型，对本超市所有会员进行预测，对那些最有可能购买体育用品且尚未购买的客户邮寄优惠卡。以刺激这些潜在客户的消费。
数据理解
首先对超市内现有的数据进行分析：
1. 会员基本信息：会员申请会员卡时登记的信息，其中包含了会员年龄，职业，学历，电话，工作，收入，住址等信息。
2. 消费信息：会员消费的明细记录。
了解了现有数据后，发现有以下问题：
1. 会员基本信息是会员提供的，里边有很多值是缺失的，有的看起来是错误的。
2. 而消费信息由于是每次消费后电脑生成，信息是完整的，但是信息却很庞杂，不利于分析。
3. 可用的数据项非常多，到底用哪些数据项来进行数据预测呢？

3、缺失值

1、缺失值定义

缺失值就是指数据文件中的某些数据项是未知的值。几乎所有的商业数据挖掘中，都要遇到缺失值的问题，有可能是数据采集中的失误，有可能客户不愿意提供某些信息，面对这样的数据，应该如何处理 ? 使用这样的数据可能会对后期的建模产生不可预料的影响。如果丢弃，这些数据中可能包含着宝贵的信息。

2、缺失值分析

1、确定数据文件中缺失值的类型和数量

2、利用“数据审核”节点审核数据，观察有效数据的数量

3、利用类型节点设置缺失值定义

3、缺失值处理—删除

1、通过数据审核节点进行缺失值处理设定
原则：完整的字段占的比例高，一般应该过滤掉包含缺失值的字段
完整记录所占比例较高，一般应该删除含有缺失值的记录

2、通过数据审核节点生成的处理节点删除字段或记录

4、缺失值处理—填充

1、通过数据审核节点设定缺失值插补方式

2、通过填充节点设置插补条件与插补内容
补充：超节点的简单使用

2、异常值

1、单字段分析

异常值就是数据文件中那些和其它值相比有明显不同的值，它们可以通过观察数据分布来确定。
单字段异常值：出现在一个字段中的异常值（极值或离群值）
连续型数据异常值：通过数据审核节点查看


小数据量级枚举类数据的抽象分组
枚举类数据：不连续，可穷举

利用分布图节点实现分组

2、多字段分析

多字段异常值：需要多列组合才能发现的异常值，也称为联合分布异常值

联合分布异常值分析：通过散点图进行

3、异常值处理

单字段异常值处理：通过数据审核节点设置