打卡Day2-数据处理

数据标准化

原因

        在多指标评价体系中，由于各评价指标的性质不同，通常具有不同的量纲和数量级。当各指标间的水平相差很大时，如果直接用原始指标值进行分析，就会突出数值较高的指标在综合分析中的作用，相对削弱数值水平较低指标的作用。因此，为了保证结果的可靠性，需要对原始指标数据进行标准化处理。

好处

        1.在训练神经网络的过程中，通过将数据标准化，能够加速权重参数的收敛；

        2.在回归预测中，标准化是让特征值有均等的权重；

        3.涉及到一些距离计算的算法时效果显著，比如算法要计算欧氏距离

        4.深度学习中数据归一化可以防止模型梯度爆炸。

常用方法

1.min-max标准化（归一化）

        X' = (X-Xmin) / (Xmax-Xmin)

2.z-score标准化

        新数据=（原数据- 均值）/ 标准差

3.log函数标准化法

        X' = log10(X) / log10 (Xmax)

异常值检测（常用方法）

1.3σ原则

        用于对已知平均数和标准差的正态分布数据进行快速推算，具体为数值分布在（μ-σ,μ+σ)中的概率为0.6826 数值分布在（μ-2σ,μ+2σ)中的概率为0.9545 数值分布在（μ-3σ,μ+3σ)中的概率为0.9973。

2.箱线图

        箱线图是通过数据集的四分位数形成的图形化描述，是非常简单而且效的可视化离群点的一种方法。

        上下须为数据分布的边界，只要是高于上须，或者是低于下触须的数据点都可以认为是离群点或异常值。

3.IQR(四分位数)

        把所有数值由小到大排列并分成四等份，处于三个分割点位置的数值就是四分位数。异常值通常被定义为小于QL-1.5IQR 或QU+1.5IQR。

• QL：下四分位数，表示全部观察值中有四分之一的数据取值比它小；
• QU：上四分位数，表示全部观察值中有四分之一的数据取值比它大；
• IQR：四分位间距，是上四分位数QU与下四分位数QL之差，期间包含了全部观察值的一半。

4.聚类算法