pytorch中进行深度学习的权重初始化策略

最新推荐文章于 2024-08-17 21:31:40 发布

爱学习的人工智障

最新推荐文章于 2024-08-17 21:31:40 发布

阅读量2.1k

点赞数 1

分类专栏：深度学习

本文链接：https://blog.csdn.net/weixin_38410551/article/details/104883870

版权

本文探讨了深度学习模型初始化的重要性，详细解释了全零初始化、随机初始化的弊端，以及Xavier和凯明初始化的优势。通过实例代码展示它们在训练过程中的效果，表明合适的权重初始化能提升模型收敛速度和准确性。

摘要由CSDN通过智能技术生成

深度学习初始化

目的
方法
深度学习初始化策略

目的

降低梯度消失和梯度爆炸的可能性。

方法

每一层权重输出的均值为1，方差一致，服从相同的分布。
每一层的output的方差与网络节点数有关。
每一层的w与其它层无关。

深度学习初始化策略

模型

import torch
import numpy as np
import torch.nn as nn
from torch.autograd import Variable
from tqdm import *
import matplotlib.pyplot as plt
import torch.nn.functional as F

#定义一些参数
EPOCH = 4500#训练轮次
LR = 0.01  #learing rate
class_number = 10 #类别数
stop_threshold = 0.99  #训练截止的条件之一：准确率阈值，当准确率超过该阈值，则停止训练
sample_sum = 1000#样本数目
model_input = 1000 #模型输入的特征个数
#标签编码，将样本中每个随机数据的1000个随机特征值求均值，将均值分为10个区间，对应标签值为0到9
def code_label(data):
    data_label &