[机器学习] 逻辑回归—lr参数可以初始化为0, DNN参数不能初始化为0

已于 2023-09-03 20:30:49 修改
阅读量436 收藏
点赞数 1
分类专栏： 机器学习 文章标签： python
于 2022-10-10 16:30:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/127246301
版权
博客探讨了在机器学习中，逻辑回归（LR）参数可以初始化为0，而深度神经网络（DNN）的参数不能。原因在于LR中的激活函数与DNN中无激活的隐藏层导致了不同的梯度行为，当DNN参数初始化为0时，可能会遇到梯度消失问题。
摘要由CSDN通过智能技术生成

lr 可以初始化为0, DNN不能初始化为0

lr 是有激活的，DNN隐层是没有激活的，所以会导致w的梯度=0。

心心喵
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
深度神经网络之初始化
YQMind的博客
06-24 548
参考： https://www.leiphone.com/news/201703/3qMp45aQtbxTdzmK.html 在深度神经网络中，权重的初始化十分重要，对模型的收敛速度和模型质量有重大的影响。 首先，来一个宏观的认识。在Relu激活函数的网络里，推荐使用Xavier Initialization的变种。 以全连接层中的权重为例： import numpy as np W = ...
普通神经网络为什么不能全部初始化为0，LR为什么可以？
Xu_Wave
05-26 2355
面试题分享
神经网络权重为什么不能初始化为0，而线性回归和LR可以？
吟游诗人——吟唱生命的不朽
03-20 3583
线性回归基本可以是LR的简化版（论证思路上），因此本文将主要探讨两个问题：1. 为什么LR可以将权重初始化为0？2. 为什么神经网络不能将权重初始化为0？ 本文参考资料：https://zhuanlan.zhihu.com/p/75879624 为什么LR可以将权重初始化为0？ 为什么神经网络不能将参数初始化为0？ 以下图为例： 情况1：w和b都初始化为0 那么由于反向传播的公式，从上图一个简单反向传播可以看出，每一轮参数更新只能从后往前更新一层的参数。这且不管，而且由于初始化参数完全相同，那么上上图
机器学习基础 LR学习
一枚程序员的博客
08-20 4209
1 LR是什么？ LR全称Logistic Regression，逻辑回归。虽然名称中带有回归。逻辑回归，可以做分类的事情，也可以做回归的事情。 通常来讲，机器学习分为分类和回归两种模型，分类做的是离散值的预测，比如0，1，真，假等，回归做的是连续值的预测，比如概率，温度等。例如：用逻辑回归实现一个猫分类器，输入一张图片 x ，预测图片是否为猫，输出该图片中存在猫的概率结果 y。 Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic Regressi
逻辑回归和神经网络权重初始化为0的问题
qq_38383549的博客
11-11 6180
神经网络的权重w 的不同代表输入的向量有不同的特征，即权重越大的特征越重要，比如在人脸识别中，人脸的属性有眼睛，鼻子，嘴巴，眉毛，其中眼睛更能够影响人脸的识别，所以我们给与眼睛更大的权重。 如果将权重初始化全为0，那么隐藏层的各个神经元的结果都是一样的，从而正向传播的结果是一样的，反向传播求得的梯度也是一样的，也就是说不管经过多少次迭代，更新的w(i)是相同的，这样就判断不了哪个特征比较重要了。 ...
机器学习课程大作业-采用DNN算法、逻辑回归算法、SVM算法对iris数据集进行建模分析（含源码文件和数据集）
最新发布
06-21
机器学习课程大作业——采用DNN算法、逻辑回归算法、SVM算法对iris数据集进行建模分析（含源码文件和数据集）机器学习课程大作业——采用DNN算法、逻辑回归算法、SVM算法对iris数据集进行建模分析（含源码文件和数据...
机器学习-04. 逻辑回归详解和应用（下）
07-16
人工智能基础视频教程零基础入门课程，不需要编程基础即可学习，共15章，由于整体课程内容太大，无法一次传输，分章节上传。 第一章 人工智能开发及远景介绍（预科） 第二章 线性回归深入和代码实现 第三章 梯度下降...
机器学习-04. 逻辑回归详解和应用（上）
07-16
人工智能基础视频教程零基础入门课程，不需要编程基础即可学习，共15章，由于整体课程内容太大，无法一次传输，分章节上传。 第一章 人工智能开发及远景介绍（预科） 第二章 线性回归深入和代码实现 第三章 梯度下降...
DNN.py_Pythondnn_机器学习_DNN神经网络_DNN_
09-30
深度神经网络（DNN）是机器学习领域的一种重要模型，特别是在图像识别、语音识别和自然语言处理等复杂任务中有着广泛的应用。Python是实现DNN的首选编程语言，因为其丰富的库支持和简洁的语法使得建模过程更为便捷。...
MATLAB-DNN-master.zip_MATLAB DNN回归_MATLAB 深度学习_matlab dnn_matlab
07-15
MATLAB 是一种强大的数学计算和数据分析工具，它也支持深度学习框架，可以帮助用户构建和训练深度神经网络（DNN）。本资源"MATLAB-DNN-master.zip"提供了MATLAB中DNN回归的源代码，这对于想要入门深度学习的初学者来...
深度学习 | (6) 关于神经网络参数初始化为全0的思考
sdu_hao的博客
03-07 5053
原文地址 为什么神经网络参数不能全部初始化为全0？ 最近试了一个小实验，发现当神经网络参数全部初始化为全0的时候（这样最省力嘛），效果并不好，后来和请教了ybb并且网上查阅了一些资料，记录一下自己的笔记和总结，欢迎大家指错交流~ 假设我们现在需要初始化的神经网络如下所示： 我们初始化权值为： 其中W1代表输入层到隐藏层的权值矩阵，W2代表隐藏层到输出层的权值矩阵。 假设网络的输入为[x1,x2...
DNN的几点tips
u013909139的博客
12-28 585
1)数据变换 由于DNN在训练时需要大量的样本数量来获得一个满意的结果，如果图像初始样本过少，最好通过数据变换提升性能。诚然，数据变换是训练之前比不可少的步骤。 有很多数据变换的方法，比如将图像水平翻转、随机切割、图像抖动等。而且你可以结果多种不同的处理方法，比如在旋转的同时随机缩放。也可以把颜色空间的H和V映射到0.25~0.4中（灰度值同理），再乘以一个0.7~1.4的因子，再加上一个-0
【机器学习】简单解释：为什么logistic回归参数初始化可以都为0，而神经网络不行？
weixin_43627748的博客
02-23 2099
1. Logistic回归为何可以将权重参数初始化为0 图片: https://uploader.shimo.im/f/fyBESz3aUCdKtDYW.png 上图为Logistic回归的简图。其中x1、x2为输入特征，W11，W21为权重参数 首先，我们看看梯度下降法更新模型参数计算过程： 前向传播 假设函数： 图片: https://uploader.shimo.im/f/cpFgZmZvSoXcRZ21.png 损失函数： 图片: https://uploader.shimo.im/f/hA4faS
什么时候可以将神经网络的参数全部初始化为0?
weixin_30782293的博客
09-12 460
用SGD训练神经网络时, 怎样决定初始化参数的方式? 主要有两个考虑点: 一: 最终是否能得到想要的学习结果, 即是否能得到一个符合预期目标的分类器；二: 训练时间, 好的参数初始化可以有效缩短训练时间, 如预训练. 不加思考时, 将所有参数都初始化为0是最省力的做法. 有些情况下可行, 但大部分情况下会导致学习失败, 得不到可用的模型. 先看最简单的例子: 用逻辑回归算法识别手写数字MNIST....
logistic回归中w和b为什么能0初始化
张飞飞的博客
10-09 2515
Ng说的是神经网络不能零初始化，而这个例子只是logistic回归，它没有隐藏层，所以不算是神经网络，且Ng在教学视频的第一部分『神经网络与深度学习』中的第二周里的「梯度下降法」中的2分38秒时明确说了，logistic回归的权值初始化可以是任意初始化方法，包括全0初始化。同时，Ng在教学视频的『神经网络与深度学习』中第四周的『随机初始化』中开篇又强调了这一点，并且又用这个视频来解释了为什么神经网...
机器学习 | LR逻辑回归模型
08-12 2049
LR假设数据服从伯努利分布，利用线性回归模型配合Sigmod函数构造逻辑回归公式，运用梯度下降的方法来求解损失函数，极大化似然函数，最终解决二分类问题。 主要思想: 根据现有数据对分类边界线(Decision Boundary)建立回归公式，通过寻找最优参数来正确地分类原始数据。数学目的：求解能够让模型对数据拟合程度最高的参数的值，从此构建预测函数y(x)，然后将特征矩阵输入预测函数来计算出逻辑回归的结果y。把原线性回归的取值范围通过Logistic函数映射到一个概率空间，从而将一个回归模型转换为一个分类
深度学习模型的参数W为什么不能初始化为0？
weixin_43905181的博客
11-13 1735
都是学习过程中的个人理解，会涉及有点复杂的数学思路，并且没有辅以方便理解的实例，可能解释得不是那么清楚。 首先，深度学习中的求导过程，是当给定模型之后，给定W和b之后，通过loss = δ(y), y = σ(W, b)给出的，对损失函数结果进行求导的结果而结果是W和b各自的梯度。 所以实际上“自变量”是W, b，希望W和b都按着自己的梯度走一小步，这样可以使得loss逐渐靠近最小（不是严格的loss总梯度靠近，而是以每个自变量的偏导数近似靠近）。 如果举一个简单的例子，模型只存在一个隐层
Sklearn参数详解—LR模型
张俊红的个人博客
05-05 2995
总第105篇最近会开始一个新的系列，sklearn库中各模型的参数解释，本篇主要讲述最基础的LR模型。模型参数详解逻辑回归：sklearn.linear_model.LogisticRe...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值