统计学中数据清洗 （入门-基本操作）-机器学习数据清洗的基础

数据清洗

这里的数据清洗，实际上是数据的预处理，在我们获取一切的生活数据，总是不能按我们的思维模式去得到，要么数据指标存在年份的缺失，要么就是关于统计指标口径不一致，还有就是出现一些我们意想不到的异常值，这时，我们是删除数据呢？还是静静的思考，为什么会出现这种情况。

---

在本专业（经济统计中）数据清洗往往是对缺失值对处理以及对统计口径对调整。

---

缺失值处理

缺失值是在宏观数据和微观数据中常常出现的问题，对于数据对不完整，对模型来讲是无法进行下去的，传统中，缺失值的处理办法有很多。

---

均值法

均值法通常又有无条件均值和有条件均值

无条件

无条件均值是指 ，缺失值用指标的平均值来代替。在截面数据中，平均值替代公式：
$${\hat{X}}_i=\frac{{\sum }_{j=1}^n{X}_j}{n-1}(j=1,2,\dots ,nj\ne i)$$
时间序列数据：无条件均值插补公式：
$${\hat{X}}_t=\frac{{\sum }_{q=1}^T{X}_q}{T-1}(q=1,2,\dots ,Tt\ne T)$$

有条件

有条件均值插补法，是通过约束条件来限制插补的数据，又可以分为分层插补、加权插补。
分层插补法：将样本数据按照某种尺度进行分类，然后将存在缺失值的样本个体定位，将样本缺失值按照该类别的平均值替代
$${\hat{X}}_{ik}=\frac{{\sum }_{j=1}^m{X}_{jk}}{m-1}(j=1,2,\dots ,mj\ne i)$$
加权插补法：是指利用缺失值相邻的样本信息进行替代，在时间序列中，由于样本个体具有时间尺度，现将样本按照时间顺序进行排序，然后去缺失值相邻样本的均值替代。最简单的是算术平均值插补法
公式
$${\hat{X}}_t=\frac{X_{t-1}+X_{i+1}}{2}$$

注意

在截面数据中，加权插补法使用的情况不多，这时因为截面数据的经济惯性较小，并且没有找到符合经济惯性的参照系。比如，在多个指标的截面数据中，可以发现缺失值与某一个变量之间存在强相关，那么可以先对该变量进行排序，在取缺失值相邻的样本均值替代缺失值。
公式：$${\hat{X}}_i\mid Y_i=\frac{X_{i-1}\left|Y_{i-1}+X_{i+1}\right|Y_{i+1}}{2}$$

平台法

平台法分为热平台和冷平台两种，热平台其实和邻近插补差不多。

热平台

• List item

热平台是指，在同一插补类别中，使用与缺失值样本相似的完整数据样本信息替代相应的缺失值。打个比方：**小明和小刚是对双胞胎，当你看到小明对样子，自然就能想像出小刚的样子。**这种方法通常是比较常见的。不需要模型限制，并且简单，难度就是需要找到一个良好的参照。

冷平台

其实和热平台差不多，只是在统计资料中，前者使用的是当期调查信息，后者使用的是其他的资料，比如前期的调查资料等

临近插补

它不需要找一个“双胞胎”，只需要匹配变量最接近的样本数据信息，这个距离通常是欧式距离、马氏距离。

比率法

比率法是和努复制信息与样本中的有效回答记录建立一个比率模型，模型表明了目标变量和辅助变量之间的关系。然后根据辅助变量信息，进行比率模型的缺失值填补。

回归法

回归法也叫趋势外推法，其本质是条件均值插补，但其采用回归函数但形式进行插补。不说了，一般都是用回归法进行缺失值的处理。
基本流程：
$$E\left(Y_i\mid X_i\right)={\beta }_0+{\beta }_1{X}_{ui}+{\beta }_2{X}_{2i}$$
假设有一组数据，x1,x2,y，通过样本数据，拟合出线性模型，得到回归模型，利用它补充缺失值的数据，其同属于又条件均值插补，但是融合了误差控制的思想，所以参数满足blue，所以广受大家的应用。

EM迭代法

EM迭代法与回归模型相比，更具有效性，在E步中，利用已有的数据进行回归，得到回归参数，在利用回归参数估计缺失值。
公式：$$\begin{array}{l}E(Y\mid X)=X{\beta }^1\\ X^{\ast }{\beta }^1={\hat{Y}}^1\end{array}$$
在M步中，把估计值和原始值进行回归，得到新的回归参数，再利用新的回归参数估计缺失值；重复迭代，直到缺失值收敛到某一个固定的精度。
$$\begin{array}{l}E\left(Y,{\hat{Y}}^1\mid X,X^{\ast }\right)=\left(X,X^{\ast }\right){\beta }^2\\ X^{\ast }{\beta }^2={\hat{Y}}^2\end{array}$$
当$\left|{\hat{Y}}^k-{\hat{Y}}^{k-1}\right|<\epsilon ,$ 迭代停止。

预测法

预测法也叫自回归法，假定经济现象有惯性，那么当期的经济数值会受到前期、前前期的影响，据此可以建立一个自回归模型，估计自回归参数，然后利用自回归参数进行插补。适用于末尾缺失的数据。常用的是AR模型，ARIMA模型
公式：
$$X_t={\beta }_1{X}_{t-1}+{\beta }_2{X}_{t-2}+\dots +{\beta }_k{X}_{t-k}+{\epsilon }_t$$

口径调整

在数据库中我们常常会遇到数据口径不一致的情况，一般通过画图，或者对数据敏感较强的人会发现！！！我们在写论文，做折线图的时候，如果发现某一年或者某几年的统计指标有些不同寻常，那么你一定要小心！！或许就是出现了统计口径的调整。如果，将这样的数据放入我们的模型中，对于反应的经济现象或者结论就会出现问题。

处理办法

用案例说吧！

数据

数据来源：重庆统计局

通过作图，我们发现在2005出现一个相当大的波动，数据敏感的话，我们一定会去发现为什么？？
我看CNKI很多的文章关于此段的解释，都是重庆2005年重庆对基础设施进行大量的投入，导致交通里程数激增。

问题

从数据表和折线图中可以看出，2005 年重庆市公里里程数发生有一个突变情况。遇到
数据突变情况，那么必须要引起足够地重视，拷问数据突变的原因。在这里，我们可以通过
注释了解到，重庆市 2005 年开始，在公路线路里程数的统计里加入了乡道。如果删除 2005
年以前的信息，那么评价就无法获得 2005 以前的数据。如果不做数据口径调整，那么 2005
年以前的评价结果与 2005 年及以后的评价结果不具有可比性。所以，我们需要对上述口径
进行调整。

调整

调整时，统一口径的依据有两种：其一是以包含乡道为统一口径，对 2000-2004 年数据
进行调整；其二是以不包含乡道为统一口径，对 2005-2017 年数据进行调整。这两种方式都
可行，一般情况下，我们会选择调整数据较少的方式，尽可能地保留原始数据信息。
口径调整有两种，第一种是比率法，第二种是回归估计法。
比率法是指，依据已知的比率信息，对数据进行调整。例如上述数据中，如果给出了 2004
年包含乡道的公路里程数与不包含乡道的公路里程数之比为 3:1。那么，依据这个给定比率，
2004 年包含乡道的公路里程数为 32344*3=97032 公里，并以此类推 2000-2003 年。
回归估计法是指在，在未知口径变动的具体数据依据下，对模型进行回归分析，通过建
立模型显著的回归方程来前推或者后推数据。
如上例所示，对于 2005-2017 年，我们可以建立公里里程数关于年份的回归方程，如下
所示：
$$\begin{array}{ll}y=156.02x^2+1872.4x+97113& \left(R^2=0.9796\right)\end{array}$$
从拟合优度等于 97.96%，可以看出模型的拟合效果较好，回归误差较小。一般情况下，
拟合优度达到 85%，便可以使用该模型进行估计。
对于 2004 年的公路里程数，令 X=0，则可前推 2004 年重庆市公路里程数为 97113。注
意此处为 X=0，而不是 X=2004。这是利用 EXCEL 趋势线功能，其默认的自变量为 1、2、3、…。