模型调试
捣蛋鬼233
燕山大学在读研究生
展开
-
为什么使用onehot 独热编码的形式?
直接原因. 卷积神经网络进行分类任务时,需要进行softmax运算,输出每一个类别的概率值,将标签设置为onehot的形式,能够更好的表征图像的类别属性,再使用交叉熵损失函数的时候,能够得到更高的分类效果。 通常使用onehot的形式处理离散型的数据。 在深度学习中,特征之间的距离计算或事相似度计算是十分重要的,独热编码将离散型数据扩展到欧式空间,离散特征的某个取值对应欧式空间的某个点 离散型的数据特征进行独热编码后,相当于每一维度的特征都是连续的特征。 比如分类任务:有10个类别,那么每张图片进原创 2022-04-30 10:21:09 · 2868 阅读 · 0 评论 -
权重初始化的方法有哪些?是否可以从0开始初始化
首先是不能从0开始初始化:因为若权重是0,那么所有神经元的输出都会相同,在反向传播的过程中学到的东西是一致的,梯度相等,权重相等 ****当中间隐藏层神经元的输出是相同的话,那么反向传播回来的梯度以及权重都不会更新,网络不工作 随机初始化 随机初始化是一种简单的初始化方法:比如标准高斯分布初始化方法,均值为0标准差为1,但随着网络层数的叠加,后面激活函数的输出均为0. 当选择数值比较小的高斯分布 均值为0 方差为0.01. 在后面的输出过程中,输出值迅速向0靠拢,几乎所有的输出值都很接近0..原创 2022-04-30 10:14:00 · 632 阅读 · 0 评论