python 线性回归回归 缺失值 忽略_样本缺失值处理，你真的操作对了吗？

原标题：样本缺失值处理，你真的操作对了吗？

我在数据清理与探索性分析中遇到的最常见问题之一就是处理缺失数据。首先我们需要明白的是，没有任何方法能够完美解决这个问题。不同问题有不同的数据插补方法——时间序列分析，机器学习，回归模型等等，很难提供通用解决方案。在这篇文章中，我将试着总结最常用的方法，并寻找一个结构化的解决方法。

插补数据vs删除数据

在讨论数据插补方法之前，我们必须了解数据丢失的原因。

1、随机丢失(MAR，Missing at Random)：随机丢失意味着数据丢失的概率与丢失的数据本身无关，而仅与部分已观测到的数据有关。

2、完全随机丢失(MCAR，Missing Completely at Random)：数据丢失的概率与其假设值以及其他变量值都完全无关。

3、非随机丢失(MNAR，Missing not at Random)：有两种可能的情况。缺失值取决于其假设值(例如，高收入人群通常不希望在调查中透露他们的收入)；或者，缺失值取决于其他变量值(假设女性通常不想透露她们的年龄，则这里年龄变量缺失值受性别变量的影响)。

在前两种情况下可以根据其出现情况删除缺失值的数据，而在第三种情况下，删除包含缺失值的数据可能会导致模型出现偏差。因此我们需要对删除数据非常谨慎。请注意，插补数据并不一定能提供更好的结果。

删除

列表删除

按列表删除(完整案例分析)会删除一行观测值，只要其包含至少一