python运行结束后如何保存全部变量_加载

在编写和运行Python脚本时，有时我们希望在脚本结束后保留所有变量的值，以便后续分析或调试。这种需求在数据分析、机器学习模型训练、实验性脚本开发中尤为常见。本文将介绍几种方法，帮助你在Python脚本运行结束后保存所有变量的值，以便日后能够轻松恢复或继续使用这些数据。

一、为什么需要保存变量

在脚本执行过程中，变量保存了大量的数据、计算结果或中间状态。随着脚本的结束，这些变量通常会被销毁，除非我们手动保存它们。有以下几种场景中，保存变量显得尤为重要：

  1. 数据分析：保存处理后的数据以便后续深入分析。
  2. 机器学习：保存训练好的模型和参数以便后续使用或微调。
  3. 调试和优化：保存中间状态以便回顾和调试错误。
  4. 长时间任务：长时间运行的任务可能无法在单次执行中完成，保存变量可以帮助从中断处继续。

二、保存变量的常用方法

  1. 使用pickle模块

pickle是Python中用于序列化和反序列化对象的模块，可以轻松地将所有变量保存到文件中，然后在需要时重新加载。以下是一个基本示例：

import pickle

# 假设有一些变量

a = 10

b = [1, 2, 3]

c = {'key': 'value'}

# 保存所有变量

with open('variables.pkl', 'wb') as f:

  pickle.dump(globals(), f)

# 加载变量

with open('variables.pkl', 'rb') as f:

  loaded_vars = pickle.load(f)

# 恢复变量

for var_name, value in loaded_vars.items():

  if var_name not in ['__builtins__', '__name__', '__doc__', '__package__', '__loader__', '__spec__']:

      globals()[var_name] = value
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.
  • 21.
  • 22.
  • 23.
  • 24.
  • 25.
  • 26.
  • 27.
  • 28.
  • 29.

在这个例子中，我们使用pickle.dump()将当前的全局变量字典globals()保存到文件variables.pkl中。随后可以通过pickle.load()将变量重新加载，并恢复它们的值。

  1. 使用joblib模块

joblib是另一个用于保存变量的模块，尤其适合保存大型numpy数组或机器学习模型。与pickle相比，joblib在处理大型数据时更有效率：

from joblib import dump, load

# 保存变量

dump(globals(), 'variables.joblib')

# 加载变量

loaded_vars = load('variables.joblib')

# 恢复变量

for var_name, value in loaded_vars.items():

  if var_name not in ['__builtins__', '__name__', '__doc__', '__package__', '__loader__', '__spec__']:

      globals()[var_name] = value
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  1. 使用json模块

对于简单的数据类型（如字典、列表、字符串、数值），可以使用json模块保存变量。虽然json不能直接保存所有Python对象，但它是保存简单数据结构的好选择：

import json

# 假设有一些变量

a = 10

b = [1, 2, 3]

c = {'key': 'value'}

# 保存变量到JSON文件

with open('variables.json', 'w') as f:

  json.dump({'a': a, 'b': b, 'c': c}, f)

# 从JSON文件加载变量

with open('variables.json', 'r') as f:

  loaded_vars = json.load(f)

# 恢复变量

a = loaded_vars['a']

b = loaded_vars['b']

c = loaded_vars['c']
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.
  • 21.
  • 22.
  • 23.
  • 24.
  • 25.
  • 26.
  • 27.
  • 28.
  • 29.
  1. 保存为.mat文件

如果你使用MATLAB或其他科学计算软件，可能更喜欢将数据保存为.mat文件格式。scipy.io.savemat和scipy.io.loadmat可以帮助你实现这个目标：

from scipy.io import savemat, loadmat

# 假设有一些变量

data = {'a': a, 'b': b, 'c': c}

# 保存为.mat文件

savemat('variables.mat', data)

# 从.mat文件加载变量

loaded_data = loadmat('variables.mat')

# 恢复变量

a = loaded_data['a']

b = loaded_data['b']

c = loaded_data['c']
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.
  • 21.

在Python脚本运行结束后保存所有变量的值，可以帮助我们在多种场景下提升工作效率，无论是调试、分析，还是长时间任务的中断恢复。通过使用pickle、joblib、json或scipy等模块，我们能够灵活地选择最合适的方式保存和恢复变量。掌握这些方法后，你将能够更加从容地处理复杂的Python项目，确保在需要时能够快速恢复工作环境。