torch 对参数处理后回填

先从网络中下载参数，将参数所有元素整合在一个向量中，对每个元素添加一定的噪声，接下来还原向量中的元素到参数的对应位置，并用加噪后的参数回填到模型中，最后检查一遍回填情况。

假设在函数里面构造模型

import torch
import torch.nn as nn


class MyModel(nn.Module):
   def __init__(self):
       super(MyModel, self).__init__()
       self.fc1 = nn.Linear(256, 128)
       self.relu = nn.ReLU()
       self.fc2 = nn.Linear(128, 10)

   def forward(self, x):
       x = self.fc1(x)
       x = self.relu(x)
       x = self.fc2(x)
       return x

model = MyModel()

# 获取深度网络的所有参数
parameters = list(model.parameters())

# 将参数转换为一个向量
param_vector = torch.cat([p.view(-1) for p in parameters], dim=0)
print(param_vector[:20])



# 在向量的每个元素上随机添加噪声
noise = torch.randn_like(param_vector)
noisy_param_vector = param_vector + noise

# print(noise.shape, noisy_param_vector.shape)
print(noisy_param_vector[:20])



# 将添加噪声的向量还原到对应位置的深度网络的参数中
start_idx = 0
for i, param in enumerate(parameters):
    # 计算当前参数的元素个数
    num_elements = param.numel()
    # 从噪声参数中截取当前参数的元素
    current_noise = noisy_param_vector[start_idx:start_idx + num_elements]
    # 重新调整形状为当前参数的形状
    current_noise = current_noise.view(param.shape)
    # 将还原后的参数加载到深度网络中
    param.data.copy_(current_noise)

    # 更新起始索引
    start_idx += num_elements


parametersa = list(model.parameters())

# 将参数转换为一个向量
param_vectora = torch.cat([p.view(-1) for p in parametersa], dim=0)
print(param_vectora[:20])

假设已有模型

# 下载和上传参数

def renew_model_param(DeepNet):


    # 获取深度网络的所有参数
    parameters = list(DeepNet.parameters())

    # 将参数转换为一个向量
    param_vector = torch.cat([p.view(-1) for p in parameters], dim=0)
    # print(param_vector[:20])


    # 在向量的每个元素上随机添加噪声
    noise = torch.randn_like(param_vector)
    noisy_param_vector = param_vector + noise

    # print(noise.shape, noisy_param_vector.shape)
    # print(noisy_param_vector[:20])



    # 将添加噪声的向量还原到对应位置的深度网络的参数中
    start_idx = 0
    for i, param in enumerate(parameters):
        # 计算当前参数的元素个数
        num_elements = param.numel()
        # 从噪声参数中截取当前参数的元素
        current_noise = noisy_param_vector[start_idx:start_idx + num_elements]
        # 重新调整形状为当前参数的形状
        current_noise = current_noise.view(param.shape)
        # 将还原后的参数加载到深度网络中
        param.data.copy_(current_noise)

        # 更新起始索引
        start_idx += num_elements


    parametersa = list(DeepNet.parameters())

    # 将参数转换为一个向量
    param_vectora = torch.cat([p.view(-1) for p in parametersa], dim=0)
    # print(param_vectora[:20])

    # 断言两个张量的值在一定误差范围内相等
    torch.testing.assert_allclose(noisy_param_vector, param_vectora, rtol=1e-3, atol=1e-3)

输出

tensor([ 0.0411,  0.0229,  0.0049, -0.0484,  0.0459,  0.0118, -0.0562, -0.0538,
         0.0094, -0.0068,  0.0483, -0.0045, -0.0097,  0.0123,  0.0309,  0.0003,
        -0.0542, -0.0463, -0.0452, -0.0189], grad_fn=<SliceBackward0>)
tensor([-0.4091, -1.7616,  0.1588, -0.3146, -1.9634, -0.8395,  0.0965, -1.9828,
        -0.9309, -0.9996, -1.1171,  0.0702,  0.5957, -0.2442,  0.8054,  0.3737,
        -0.6276,  1.9177, -0.2753,  0.9166], grad_fn=<SliceBackward0>)
tensor([-0.4091, -1.7616,  0.1588, -0.3146, -1.9634, -0.8395,  0.0965, -1.9828,
        -0.9309, -0.9996, -1.1171,  0.0702,  0.5957, -0.2442,  0.8054,  0.3737,
        -0.6276,  1.9177, -0.2753,  0.9166], grad_fn=<SliceBackward0>)

在 PyTorch 中，你可以使用 torch.testing.assert_allclose() 函数来断言两个张量的值是否在一定的误差范围内相等。这对于由于浮点数精度等原因可能出现的微小差异非常有用。以下是使用这个函数的示例：

import torch

# 创建两个张量
tensor1 = torch.tensor([1.0, 2.0, 3.0])
tensor2 = torch.tensor([1.001, 2.001, 2.999])

# 断言两个张量的值在一定误差范围内相等
torch.testing.assert_allclose(tensor1, tensor2, rtol=1e-3, atol=1e-3)

在上面的示例中，rtol 参数表示相对误差容忍度，atol 参数表示绝对误差容忍度。你可以根据需要调整这些参数的值，以便于在实际情况下检查两个张量是否相等。如果两个张量的值在指定的误差范围内相等，那么程序会继续执行，否则会引发一个断言错误。