独家 | 用pandas-profiling做出更好的探索性数据分析（附代码）

作者：Thomas Gey

翻译：廖倩颖

校对：和中华

本文约2300字，建议阅读5分钟。

探索性数据分析已失势，Pandas-profiling万岁！用更省力的办法完美呈现你的数据。

标签：机器学习 Pandas-profiling

 

一个充满坏数据的世界

在大部分数据科学领域中，我们获得的数据并不如网上专门为机器学习模型的应用而设计和准备的数据干净和完整。大部分情况下，外部来源的数据不是结构性差就是不完整，这时候就需要你来把这些数据变得更可用！

 

虽然数据科学家注意到了数据质量的重要性，但这对于商业领导者来说并不是个事。他们更关注如何尽早使用技术来维持竞争优势，而很少理解技术的实际应用。这意味着人们会在“量大出奇迹”的借口下，利用数据集里的一切信息并希望获得最好的结果。

 

由于思维方式的差异，在建模前一个数据科学家一般花费80%时间准备数据集。

为什么是80%时间？因为有缺失值，不平衡的数据，没有任何意义的字段，删除重复数据后的数据，过时数据和其他原因。人们最近才意识到数据的重要性。但是，即使趋势逆转，数据也很难轻易访问和结构良好。

 

一个坏数据集的后果很简单也很符合逻辑：用这些数据集建立的预测模型将会有低准确率和低效率。用不正确的数据训练模型会产生偏差，你的结果将与现实相去甚远。一个糟糕的模型无法被部署，所以对于公司来说开发这样的模型是净损失。

 

一个用锈铁制造的汽车不能正常驾驶，甚至在最糟糕的情况下，根本不能驾驶…没有人愿意使用或购买一辆生锈的汽车。

 

所以，数据集对于你的项目至关重要。项目在技术和经济层面上的成功取决于你所选择数据的质量。在机器学习项目中，跳过数据评估步骤可能会浪费大量时间，你将不得不从头开始项目。所以现在看来&