预测算法模型系列（二）

数据清洗

1、补全处理：

有些原始表里的数据不是必填项，所以会有空值的情况，对于空值的补充处理要根据该字段的作用来分析处理，如果是空值有代表意义那就保留空值，如果空值没有代表意义，只是数据不完整，那可以根据情况用如下几种方式补充：均值补充、随机数补充、固定值补充、规律值补充等。

2、去杂处理：

有些数据不在常规范围内，这些可能是异常值，但是不能轻易的去掉或更改，要结合这个字段的数据意义来分析，比如血压数据高压值，有的是200多，这明显超过了正常人的高压范围，但是不能处理掉这个毛刺数据，它可能就是模型计算需要的异常数据。

或者有些机器的电流电压数据，可能因为供电电路或者发电装置的问题，产生突然的波动，但是这样的异常电压电流数据，却并不会对后续产量数据有影像，那么在做产量分析时，就可以把这样的毛刺数据去除掉。

所以说补全也好，去杂也好，或者其他的处理也好，都不能简单处理，一定要结合业务场景，分析之后再做处理。

3、归一化处理：

归一化处理不同于去空、补全、去杂等操作，它是根据算法实际需要，对数据做一次转性、转型的操作。比如血压数据，在做模型计算的时候，明确不需要具体的血压值，只要能区分是高血压还是低血压或正常值就可以，那么在数据清洗的时候就可以根据血压正常范围值，将数据分为0、1、2三个数，分别表示正常、低血压、高血压，这样减少了模型计算时的额外处理工作，提高模型运算效率。

有时候也不是非要将数据明确分成1、2、3、4等等，可能是原始数据值太大而且太分散，