【深度学习】权值为什么不能初始化为0

最新推荐文章于 2025-04-01 14:49:58 发布
最新推荐文章于 2025-04-01 14:49:58 发布
阅读量374 收藏 1
点赞数 1
分类专栏： python 图像处理 Linux系统 文章标签： 深度学习 逻辑回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liufang_imei/article/details/128893315
版权
本文探讨了深度学习中权值初始化的重要性。逻辑回归参数可以为0，但神经网络中权值初始化为0会导致权值对称性问题，影响网络的特征提取能力。此外，当权重和偏置都为0时，中间层的ReLU激活函数可能导致神经元死亡。然而，当权重随机初始化，偏置为0时，网络可以正常更新。总结来说，神经网络的所有权值不应初始化为同一常数，最后一层可以初始化为0。
摘要由CSDN通过智能技术生成

问题

权值为什么不能初始化为0

解答

img

逻辑回归(logistic)参数初始化为什么可以为0

逻辑回归相比神经网络的区别：其就是一个单层的神经网络，不过激活函数是sigmoid函数

逻辑回归的结构图如下：输入为x1、x2，权值为w11、w21，输出为a1

img

前向传播/交叉熵损失公式为：
激活函数 f

了解本专栏 订阅专栏 解锁全文 超级会员免费看
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 31万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
为什么要权值初始化
qq_40107571的博客
09-01 502
为什么要权值初始化
深度学习模型的参数W为什么不能初始化为0？
weixin_43905181的博客
11-13 1969
都是学习过程中的个人理解，会涉及有点复杂的数学思路，并且没有辅以方便理解的实例，可能解释得不是那么清楚。 首先，深度学习中的求导过程，是当给定模型之后，给定W和b之后，通过loss = δ(y), y = σ(W, b)给出的，对损失函数结果进行求导的结果而结果是W和b各自的梯度。 所以实际上“自变量”是W, b，希望W和b都按着自己的梯度走一小步，这样可以使得loss逐渐靠近最小（不是严格的loss总梯度靠近，而是以每个自变量的偏导数近似靠近）。 如果举一个简单的例子，模型只存在一个隐层
神经网络权值为什么不能初始化为零（1）
kebu12345678的博客
11-15 7757
写在前面：该篇文章的内容以及相关代码（代码在最后），都是我亲自手敲出来的，相关结论分析也是花了挺长时间做出来的，如需转载该文章，请务必先联系我，在后台留言即可。 在深度学习中，神经网络的权重初始化方式非常重要，其对模型的收敛速度和性能有着较大的影响。一个好的权值初始值有以下优点： 梯度下降的收敛速度较快 深度神经中的网络模型不易陷入梯度消失或梯度爆炸问题 该系列共两篇文章，我们主要讨论以下两...
【知识相关】神经网络权值为什么不能初始化为零
李是李雅普诺夫的李的博客
05-08 407
写在前面：该篇文章的内容以及相关代码(代码在最后)，都是我亲自手敲出来的，相关结论分析也是花了挺长时间做出来的，如需转载该文章，请务必先联系我，在后台留言即可。 在深度学习中，神经网络的权重初始化方式非常重要，其对模型的收敛速度和性能有着较大的影响。一个好的权值初始值有以下优点： 梯度下降的收敛速度较快 深度神经中的网络模型不易陷入梯度消失或梯度爆炸问题 该系列共两篇文章，我们主要讨...
权重初始化，为什么不能全部初始化为0
yanglee0
08-23 2983
1、逻辑回归中，初始化权重全部为0，是ok的吗？ 可以的。 逻辑回归反向传播的时候，由于交叉熵存世函数以及sigmoid的配合，使得梯度求导后跟x和b参数本身没有关系，主要依赖于x。因此逻辑回归中权重初始化为0是ok的。 2、普通神经网络中权重初始化可以全部为0吗？ 不可以。 总结一下：在神经网络中，如果将权值初始化为 0 ，或者其他统一的常量，会导致后面的激活单元具有相同的值，所有的单元相同意味着它们都在计算同一特征，网络变得跟只有一个隐含层节点一样，这使得神经网络失去了学习不同特征的能力！
【知识相关】神经网络权值为什么不能初始化为零（1）
李是李雅普诺夫的李的博客
05-08 466
写在前面：该篇文章的内容以及相关代码（代码在最后），都是我亲自手敲出来的，相关结论分析也是花了挺长时间做出来的，如需转载该文章，请务必先联系我，在后台留言即可。 在深度学习中，神经网络的权重初始化方式非常重要，其对模型的收敛速度和性能有着较大的影响。一个好的权值初始值有以下优点： 梯度下降的收敛速度较快 深度神经中的网络模型不易陷入梯度消失或梯度爆炸问题 该系列共两篇文章，我们主要讨...
为什么神经网络参数不能全部初始化为全0？
小白学视觉
04-14 674
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达最近试了一个小实验，发现当神经网络参数全部初始化为全0的时候（这样最省力嘛），效果并不好，后来和请教了ybb并且网上查阅了一些资料，记录一下自己的笔记和总结，欢迎大家指错交流~还是原来的写作风格，通过一个具体例子，在讲例子的过程中，通俗解释要讲的知识点。见下！假设我们现在需要初始化的神经网络如下所示：我...
深度学习中常见的权重参数初始化方法
2301_76846375的博客
09-08 1546
Xavier 初始化适合 Sigmoid、Tanh 激活函数，能够保持输入和输出的方差平衡。He 初始化适合 ReLU 和 Leaky ReLU 激活函数，能帮助防止梯度消失问题。随机初始化用于打破神经元之间的对称性，但需要注意数值范围。预训练权重在迁移学习中常用，能够加速训练并提升效果。通过合理的权重初始化方法，深度学习模型可以更快地收敛，并获得更好的训练效果。
深度学习笔记（12）：为什么不能将神经网络的初始权值设置成全0值
weixin_43197820的博客
04-17 921
前言 快一周没写博客了，遗忘的真主快要降临了吧，我也得做些什么了。今天重温了一下神经网络的细节，本篇文章主要从初始化的权重矩阵www和bbb进行探讨，讨论分析一下为什么不能设置成全0. 希望以后不会忘记这一块哈。（我承认因为资料已经很多了，我写这些对大家也不一定有很大的益处…渡己难奥。最起码算是自己能加深记忆吧） 对于logstic函数为什么权重矩阵可以初始化为0 对于logistic回归函数，我...
深度学习篇---网络结构
2301_79556402的博客
04-01 913
本文简单介绍了，Pytorch框架下的一款深度学习网络框架的配置。
深度学习四大核心架构：神经网络（NN）、卷积神经网络（CNN）、循环神经网络（RNN）与Transformer全概述
gorgor在码农
03-26 1234
NN → 类比：盲人摸象，每个神经元独立感知全局特征 → 局限：输入图像需展平为向量，丢失空间信息（如将28x28图片变成784维向量）CNN → 类比：人类视觉系统，先识别边缘→形状→物体 → 实战：用3x3卷积核扫描猫的图片，提取耳朵、胡须等局部特征RNN → 类比：阅读理解，需记住前文才能理解后文 → 痛点：输入句子“The cat sat on the mat”，到第6个单词时可能已遗忘“cat”Transformer → 类比：团队协作，每个单词直接关注全局上下文 → 优势：处理句
循环神经网络 - 简单循环网络
分享技术人生的学习笔记和过往心得，与志同道合者共同进步
04-01 786
本文我们来学习和了解简单循环网络(Simple Recurrent Network，SRN)， SRN是一个非常简单的循环神经网络，只有一个隐藏层的神经网络。简单循环神经网络，也常称为 Elman 网络，是最基本的循环神经网络（RNN）架构。它通过在隐藏层中引入循环连接，使网络能够处理序列数据，并记忆之前的输入信息。
深度学习篇---模型训练评估参数
2301_79556402的博客
03-29 1230
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。定义：预测为正例的样本中，真正为正例的比例。计算公式为：其中TP（True Positive）表示真正例，即实际为正例且被预测为正例的样本数量；FP（False Positive）表示假正例，即实际为负例但被预测为正例的样本数量。定义：实际为正例的样本中，被预测为正例的比例。
YOLOv12即插即用-Pconv(风车卷积)
最新发布
llz19670的博客
04-01 79
PinwheelConv（风车状卷积）充分利用了IRST（红外搜索与跟踪）中的高斯分布特性，以极少的参数实现了高效且更大感受野的特性。此外，本文还提出了一种简单而高效的，有效缓解了标签 IoU 变化带来的不稳定性。通过与现有卷积模块和损失函数的广泛对比，所提出的方法在准确性和鲁棒性方面始终优于最先进的方法，展现出卓越的性能和广泛的应用潜力。
深度学习 Deep Learning 第11章 实用方法论
智能化技术分享
03-28 1101
本章提供了机器学习项目从目标确定到模型优化的实用指南。通过明确性能指标、建立基线模型、评估数据需求、选择合适的超参数和应用有效的调试策略，可以系统地提升机器学习模型的性能。这些方法在实际应用中经过验证，能够帮助从业者高效地解决复杂问题。
【Deepseek、ChatGPT】智能气候前沿：AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
JNLWLAQ的博客
04-01 537
【Deepseek、ChatGPT】智能气候前沿：AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
基于mediapipe深度学习和限定半径最近邻分类树算法的人体摔倒检测系统python源码
MATLAB,verilog,python,opencv,tensorflow,caffe,C,C++
04-01 438
随着人口老龄化的加剧，老年人摔倒问题日益受到关注。及时检测到人体摔倒并发出警报，对于减少摔倒带来的伤害具有重要意义。基于 Mediapipe 深度学习和限定半径最近邻分类树算法的人体摔倒检测系统，结合了计算机视觉和机器学习的技术，能够有效地对人体摔倒行为进行检测。本系统利用 Mediapipe 进行人体姿态关键点的提取，然后使用限定半径最近邻分类树算法对提取的特征进行分类，判断人体是否摔倒。
深度学习 Deep Learning 第14章 自编码器
智能化技术分享
04-01 724
本章详细介绍了自编码器及其在特征学习和降维中的应用。自编码器通过限制模型的表示能力或引入正则化项，迫使模型学习输入数据的有用特征。这些模型在生成模型和流形学习中展现了强大的能力，不仅在理论上具有重要意义，也在实际应用中取得了广泛的成功。
神经网络 权值初始化
08-25
这种初始化方法通过根据ReLU的特性，将权重初始化为均值为0，标准差为sqrt(2/n)的高斯分布，其中n是上一层神经元的数量。这种方法在实践中显示出比Xavier initialization更好的效果。 当然，除了He initialization...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

manylinux

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值