【深度学习】权值为什么不能初始化为0

最新推荐文章于 2025-04-03 17:13:20 发布
最新推荐文章于 2025-04-03 17:13:20 发布
阅读量374 收藏 1
点赞数 1
分类专栏： python 图像处理 Linux系统 文章标签： 深度学习 逻辑回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liufang_imei/article/details/128893315
版权
本文探讨了深度学习中权值初始化的重要性。逻辑回归参数可以为0，但神经网络中权值初始化为0会导致权值对称性问题，影响网络的特征提取能力。此外，当权重和偏置都为0时，中间层的ReLU激活函数可能导致神经元死亡。然而，当权重随机初始化，偏置为0时，网络可以正常更新。总结来说，神经网络的所有权值不应初始化为同一常数，最后一层可以初始化为0。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题

权值为什么不能初始化为0

解答

img

逻辑回归(logistic)参数初始化为什么可以为0

逻辑回归相比神经网络的区别：其就是一个单层的神经网络，不过激活函数是sigmoid函数

逻辑回归的结构图如下：输入为x1、x2，权值为w11、w21，输出为a1

img

前向传播/交叉熵损失公式为：
激活函数 f

了解本专栏 订阅专栏 解锁全文 超级会员免费看
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 31万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
为什么要权值初始化
qq_40107571的博客
09-01 502
为什么要权值初始化
深度学习模型的参数W为什么不能初始化为0？
weixin_43905181的博客
11-13 1971
都是学习过程中的个人理解，会涉及有点复杂的数学思路，并且没有辅以方便理解的实例，可能解释得不是那么清楚。 首先，深度学习中的求导过程，是当给定模型之后，给定W和b之后，通过loss = δ(y), y = σ(W, b)给出的，对损失函数结果进行求导的结果而结果是W和b各自的梯度。 所以实际上“自变量”是W, b，希望W和b都按着自己的梯度走一小步，这样可以使得loss逐渐靠近最小（不是严格的loss总梯度靠近，而是以每个自变量的偏导数近似靠近）。 如果举一个简单的例子，模型只存在一个隐层
神经网络权值为什么不能初始化为零（1）
kebu12345678的博客
11-15 7758
写在前面：该篇文章的内容以及相关代码（代码在最后），都是我亲自手敲出来的，相关结论分析也是花了挺长时间做出来的，如需转载该文章，请务必先联系我，在后台留言即可。 在深度学习中，神经网络的权重初始化方式非常重要，其对模型的收敛速度和性能有着较大的影响。一个好的权值初始值有以下优点： 梯度下降的收敛速度较快 深度神经中的网络模型不易陷入梯度消失或梯度爆炸问题 该系列共两篇文章，我们主要讨论以下两...
【知识相关】神经网络权值为什么不能初始化为零
李是李雅普诺夫的李的博客
05-08 407
写在前面：该篇文章的内容以及相关代码(代码在最后)，都是我亲自手敲出来的，相关结论分析也是花了挺长时间做出来的，如需转载该文章，请务必先联系我，在后台留言即可。 在深度学习中，神经网络的权重初始化方式非常重要，其对模型的收敛速度和性能有着较大的影响。一个好的权值初始值有以下优点： 梯度下降的收敛速度较快 深度神经中的网络模型不易陷入梯度消失或梯度爆炸问题 该系列共两篇文章，我们主要讨...
权重初始化，为什么不能全部初始化为0
yanglee0
08-23 2986
1、逻辑回归中，初始化权重全部为0，是ok的吗？ 可以的。 逻辑回归反向传播的时候，由于交叉熵存世函数以及sigmoid的配合，使得梯度求导后跟x和b参数本身没有关系，主要依赖于x。因此逻辑回归中权重初始化为0是ok的。 2、普通神经网络中权重初始化可以全部为0吗？ 不可以。 总结一下：在神经网络中，如果将权值初始化为 0 ，或者其他统一的常量，会导致后面的激活单元具有相同的值，所有的单元相同意味着它们都在计算同一特征，网络变得跟只有一个隐含层节点一样，这使得神经网络失去了学习不同特征的能力！
【知识相关】神经网络权值为什么不能初始化为零（1）
李是李雅普诺夫的李的博客
05-08 466
写在前面：该篇文章的内容以及相关代码（代码在最后），都是我亲自手敲出来的，相关结论分析也是花了挺长时间做出来的，如需转载该文章，请务必先联系我，在后台留言即可。 在深度学习中，神经网络的权重初始化方式非常重要，其对模型的收敛速度和性能有着较大的影响。一个好的权值初始值有以下优点： 梯度下降的收敛速度较快 深度神经中的网络模型不易陷入梯度消失或梯度爆炸问题 该系列共两篇文章，我们主要讨...
为什么神经网络参数不能全部初始化为全0？
小白学视觉
04-14 674
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达最近试了一个小实验，发现当神经网络参数全部初始化为全0的时候（这样最省力嘛），效果并不好，后来和请教了ybb并且网上查阅了一些资料，记录一下自己的笔记和总结，欢迎大家指错交流~还是原来的写作风格，通过一个具体例子，在讲例子的过程中，通俗解释要讲的知识点。见下！假设我们现在需要初始化的神经网络如下所示：我...
深度学习中常见的权重参数初始化方法
2301_76846375的博客
09-08 1551
Xavier 初始化适合 Sigmoid、Tanh 激活函数，能够保持输入和输出的方差平衡。He 初始化适合 ReLU 和 Leaky ReLU 激活函数，能帮助防止梯度消失问题。随机初始化用于打破神经元之间的对称性，但需要注意数值范围。预训练权重在迁移学习中常用，能够加速训练并提升效果。通过合理的权重初始化方法，深度学习模型可以更快地收敛，并获得更好的训练效果。
深度学习笔记（12）：为什么不能将神经网络的初始权值设置成全0值
weixin_43197820的博客
04-17 922
前言 快一周没写博客了，遗忘的真主快要降临了吧，我也得做些什么了。今天重温了一下神经网络的细节，本篇文章主要从初始化的权重矩阵www和bbb进行探讨，讨论分析一下为什么不能设置成全0. 希望以后不会忘记这一块哈。（我承认因为资料已经很多了，我写这些对大家也不一定有很大的益处…渡己难奥。最起码算是自己能加深记忆吧） 对于logstic函数为什么权重矩阵可以初始化为0 对于logistic回归函数，我...
深度学习四大核心架构：神经网络（NN）、卷积神经网络（CNN）、循环神经网络（RNN）与Transformer全概述
gorgor在码农
03-26 1547
NN → 类比：盲人摸象，每个神经元独立感知全局特征 → 局限：输入图像需展平为向量，丢失空间信息（如将28x28图片变成784维向量）CNN → 类比：人类视觉系统，先识别边缘→形状→物体 → 实战：用3x3卷积核扫描猫的图片，提取耳朵、胡须等局部特征RNN → 类比：阅读理解，需记住前文才能理解后文 → 痛点：输入句子“The cat sat on the mat”，到第6个单词时可能已遗忘“cat”Transformer → 类比：团队协作，每个单词直接关注全局上下文 → 优势：处理句
基于CNN实现电力负荷多变量时序预测(PyTorch版)
最新发布
时序笔记
04-03 272
随着智能电网的发展，精准的电力负荷预测对能源调度和电网稳定具有重要意义。本文基于PyTorch框架，提出一种基于卷积神经网络（CNN）的多变量时间序列预测模型，用于电力负荷的短期预测。
深度学习篇---网络结构
2301_79556402的博客
04-01 1240
本文简单介绍了，Pytorch框架下的一款深度学习网络框架的配置。
深度学习处理文本（9）
yyc的博客
04-03 912
比如在机器翻译中，查询是目标序列，键和值则都是源序列：对于目标序列中的每个元素（如“tiempo”​）​，你都希望回到源序列（​“How’s the weather today?当然，如果你只做序列分类，那么查询、键和值这三者是相同的：将一个序列与自身进行对比，用整个序列的上下文来丰富每个词元的表示。​“多头”是指：自注意力层的输出空间被分解为一组独立的子空间，对这些子空间分别进行学习，也就是说，初始的查询、键和值分别通过3组独立的密集投影，生成3个独立的向量。搜索引擎会将你的查询和数据库中的键进行对比。
深度学习-152-综述之大模型蒸馏技术的简介
qq_20466211的博客
03-31 32
知识蒸馏(Knowledge Distillation，简称KD)是由AI领域的三位大佬Geoffrey Hinton、Oriol Vinyals和Jeff Dean在2015年提出的技术，旨在通过将复杂教师模型的知识迁移到较简单的学生模型中，使学生模型在保持高性能的同时，能够实现更小的模型规模和更快的推理速度。
【算法岗面试题】深度学习中如何防止过拟合？
qq_61907825的博客
04-01 630
这是个深度学习中比较常见的问题。
【Deepseek、ChatGPT】智能气候前沿：AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
JNLWLAQ的博客
04-01 1378
【Deepseek、ChatGPT】智能气候前沿：AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
机器学习、深度学习和神经网络
cgaowei的博客
03-30 916
机器学习是人工智能的一个子集，它使用计算机算法来分析数据，并根据所学内容做出智能决策。机器学习算法的三个主要类别包括监督学习、无监督学习和强化学习。 深度学习是机器学习的一个专门子集，它通过分层算法创建神经网络，使人工智能系统能够从非结构化数据中学习，并在工作中持续学习。 神经网络，一种模仿生物神经元的计算单元集合，随着时间的推移学习对数据进行决策。不同的神经网络类型包括感知器、卷积神经网络或 CNN 以及循环神经网络或 RNN。
RNN模型与NLP应用——（7/9）机器翻译与Seq2Seq模型
yjc060228的博客
03-31 1140
机器翻译——Sequence to Sequence模型介绍，详细讲解Seq2Seq模型底层逻辑，以及实现过程
神经网络 权值初始化
08-25
这种初始化方法通过根据ReLU的特性，将权重初始化为均值为0，标准差为sqrt(2/n)的高斯分布，其中n是上一层神经元的数量。这种方法在实践中显示出比Xavier initialization更好的效果。 当然，除了He initialization...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

manylinux

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值