[ML 代码技巧] 使用局部变量分离计算和绘图

机器学习研究中的代码组织难题：数据结构与代码复用

本文作者描述了在机器学习研究中使用 IPython Notebook 或 Colab 进行数据分析时遇到的一个常见问题：数据处理、计算和可视化之间的代码组织问题。

问题描述:

作者通常需要对多个模型 (M1, M2) 进行分析，并使用集群进行大规模计算。在分析过程中，作者需要加载日志数据、计算统计信息 (A, B)，并进行可视化。

传统方法的不足:

作者尝试使用循环结构来组织代码，但在代码中需要重复进行数据加载、计算和可视化操作。这种方式存在以下问题：

• 代码冗余: 每次修改可视化代码都需要重新加载数据和进行计算。
• 代码维护难度: 需要在多个地方维护相同的变量名，容易出错。

软件工程的解决方案:

作者提到软件工程师可能会建议使用数据类或其他数据结构来解决这个问题。例如，可以使用一个类来封装数据，并在不同代码段之间共享数据。

作者的困惑:

作者认为使用数据类或其他数据结构可能会导致代码变得冗长，并且不适合 IPython Notebook 的灵活性和交互性。

总结:

本文描述了机器学习研究中常见的数据组织问题，并探讨了传统软件工程解决方案的局限性。作者认为需要寻找一种既能保持代码简洁，又能方便地进行数据处理、计算和可视化的解决方案。

可能的解决方案:

• 使用 IPython Notebook 的魔术命令或扩展功能来简化代码。
• 使用面向对象编程的思想，将数据处理、计算和可视化逻辑封装成不同的模块。
• 探索新的数据结构或编程范式，例如函数式编程，以提高代码的可读性和可维护性。

这是一个在笔记本中分离计算和后续分析的懒惰方法，无需手动保存局部变量的开销。警告：不要在严肃的项目中这样做。