缓存计算中间结果，自动格式化储存数据科学比赛提交csv文件——learning-utility

Vopaaz

于 2019-09-01 20:45:56 发布

阅读量133

点赞数

文章标签：数据科学机器学习 kaggle 数据挖掘

本文链接：https://blog.csdn.net/qq_43159651/article/details/100187608

版权

本文介绍了一个用于数据科学比赛的实用库，它能缓存计算中间结果以节省时间，并自动格式化储存提交的CSV文件。通过监控变量变化，库在第二次运行时直接读取缓存，避免重复计算。此外，它还能自动调整CSV保存格式，适应不同比赛的要求。该库提供函数修饰器和保存结果的功能，简化数据科学工作流程。

摘要由CSDN通过智能技术生成

本文同时发布于我的知乎专栏

在之前打一些比赛的过程中，遇到了以下问题：数据清洗和预处理的过程复杂，耗费计算时间长，并需要尝试多种参数的组合。

如果每次运行都重复计算会浪费大量时间，对每种参数下处理结果进行手动保存也比较麻烦。由此产生了一个需求，即根据特定参数对运算结果进行缓存，并且在第二次运行时直接读取缓存避免计算。这就是写这个库的源动力。

from Lutil.checkpoints import InlineCheckpoint

a, b = 1, 2
with InlineCheckpoint(watch=["a", "b"], produce=["c"]):
   p

关注