pytorch中进行深度学习的权重初始化策略

目的

降低梯度消失和梯度爆炸的可能性。

方法

1. 每一层权重输出的均值为1，方差一致，服从相同的分布。
2. 每一层的output的方差与网络节点数有关。
3. 每一层的w与其它层无关。

深度学习初始化策略

模型

import torch
import numpy as np
import torch.nn as nn
from torch.autograd import Variable
from tqdm import *
import matplotlib.pyplot as plt
import torch.nn.functional as F

#定义一些参数
EPOCH = 4500#训练轮次
LR = 0.01  #learing rate
class_number = 10 #类别数
stop_threshold = 0.99  #训练截止的条件之一：准确率阈值，当准确率超过该阈值，则停止训练
sample_sum = 1000#样本数目
model_input = 1000 #模型输入的特征个数
#标签编码，将样本中每个随机数据的1000个随机特征值求均值，将均值分为10个区间，对应标签值为0到9
def code_label(data):
    data_label = np.sum(data, 1) #将每一行的元素相加，压缩行
    data_label = np.around((data_label /model_input), decimals= 2)#decimals = 2: 保留小数点几位
    min_label = np.around(min(data_label), decimals&