深度学习记录--logistic回归函数的计算图

已于 2023-11-28 16:59:07 修改
阅读量898 收藏 11
点赞数 6
分类专栏： 深度学习记录 文章标签： 深度学习 回归 人工智能
于 2023-11-28 16:57:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Xudong_12345/article/details/134669717
版权

计算图用于logistic回归函数

先回顾一下单一样本的logistic回归损失函数的公式，公式如下：

将logistic函数用计算图表示出来(以两个基础量为例)，计算图如下：

前向传播已经完成，接下来完成后向传播

运用链式法则依次求出 \frac{\partial \pounds }{\partial a}, \frac{\partial \pounds }{\partial z},\frac{\partial \pounds }{\partial wi}(i=1,2),\frac{\partial \pounds }{\partial xi}(i=1,2),\frac{\partial \pounds }{\partial b}

补充梯度下降法--更新变量

当把每个变量的导数求出后，就可以使用梯度下降法进行变量更新

梯度下降法公式：var:= var-\partial d(var),其中 \partial 为学习速率(learning rate)

每次更新var迭代计算

m个样本的梯度下降

少量样本的logistic计算图求完后，可以推广到m个样本的计算图

成本函数公式：J(w,b)=\frac{1}{m}\sum_{i=1}^{m}\pounds (_a{i},_y{i})

每个导数求和之后求平均值(除以m)

代码实现

使用for循环来对m个样本进行后向传播计算

同时在for循环内部嵌套for循环来对i个基础量进行求和

在外层for循环结束后进行基础量的迭代

这样完成简单的迭代算法代码实现

不足之处

两个for循环在大量的样本数据面前，会使迭代时间大大增加，算法效率及其低下

向量化的出现能够很好地解决这个问题

蹲家宅宅
关注
  • 6
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
吴恩达深度学习第二周--logistic回归作业1
menghuanyjq的博客
04-10 835
吴恩达深度学习作业 总结的很好的作业案例
深度学习（入门）——逻辑回归模型（Logistics Regression）
weixin_54344261的博客
02-12 3936
逻辑回归算法适用于二分类问题，例如在输入一个猫的图片到模型中，模型会输出1（这是一只猫），或者0（不是一只猫）。 对于二元分类问题，给定一个输入的特征向量X
【深度学习】logistic回归模型
m0_61151031的博客
08-16 1770
而我们深度学习的神经网络系统就起到相似的作用：接收我们输入的数据，在我们预设的系统下执行完输出结果，而这个神经系统也不是一开始就存在的，它需要我们给予它一些数据去训练它，拟合出一套最适合的映射系统。我们知道，在我们进行深度学习时，我们需要使用的数据往往是大量的，就如我们需要计算的损失函数一样，我们需要有m个数据进行处理，并且每个数据可能都有n个特征值，所以我们遍历这些数据时就不能使用for循环这种低效率的方法，我们需要使用到新的方法：向量化。那么我们需要的输出y对应的就是一个m列的矩阵。......
机器学习-逻辑回归(LogisticRegression)详解
yuxj的博客
08-27 1万+
逻辑回归详解 1.什么是逻辑回归 逻辑回归是监督学习，主要解决二分类问题。 逻辑回归虽然有回归字样，但是它是一种被用来解决分类的模型，为什么叫逻辑回归是因为它是利用回归的思想去解决了分类的问题。 逻辑回归和线性回归都是一种广义的线性模型，只不过逻辑回归的因变量(Y)服从伯努利分布(离散分布)，而线性回归的因变量(Y)满足的是高斯分布(正态分布)，因此他们两个是很相似的(PS：线性回归是拟合一条直线，而逻辑回归是根据sigmoid将线性变成非线性，所以去掉sigmoid，他们一样的...
深度学习基础07---非线性回归分析逻辑回归Logistic Regression
duohuanxi的博客
11-06 890
首先来看一些基本概念 1.概率： 1.1 定义：概率（P）probability：对一件事情发生的可能性的衡量 1.2 范围：0<=P<=1 1.3 计算方法： 1.3.1 根据个人置信 1.3.2 根据历史数据 1.3.3 根据模拟数据 1.4 条件概率： 2. Logistic Regression（逻辑回归） 2.1 例子 如上图所示，假设现在有一些肿瘤数据，单一变量x表示肿瘤大小，另一组变量表示肿瘤是恶性还是良性的，恶性为1，良性为0，收集八个病人肿瘤数据，上图表示上面四个为恶性，下
深度学习--激活函数之sigmoid激活函数
weixin_43464623的博客
08-06 1万+
1.简介 激活函数是深度神经网络中每一个神经元线性加权计算结果的非线性处理，赋予神经网络非线性映射能力。每一种激活函数都有不同的功能，本篇主要介绍sigmoid激活函数。 sigmoid激活函数应该是深度神经网络最先使用的激活函数，主要用于逻辑回归（logistic regression），实现分类功能。sigmoid函数的公式如下： 4.pytorch代码 #include <iostream> 5.效果 5.1输入图片 ...
深度学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 22万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
PyTorch深度学习——Logistic回归（二分类问题）
weixin_42603976的博客
08-09 2395
pytorch深度学习中有关于logistic回归二分类问题的代码详解
机器学习-Logistic回归
willow20021111的博客
12-04 899
这次实验是关于Logistic回归模型的学习和实现，我通过编写Python代码来创建一个Logistic回归模型，用于解决二分类问题，并使用一个简单的数据集进行训练和测试。总的来说，这次实验让我更深入地理解了Logistic回归模型的原理和实现方式。我学会了如何训练一个简单的分类模型，并对超参数的选择有了一些了解。这是一个很好的起点，我期待能够在未来的学习中进一步探索机器学习和深度学习领域。
Logistic_Regression：机器学习AZ-SuperDataScience的Logistic回归教程-Ryan L Buchanan输入25SEP20
02-15
Logistic_回归
统计学-logistic回归分析ppt课件.ppt
12-21
统计学-logistic回归分析ppt课件.ppt
机器学习-logistic回归实战项目
02-11
本项目实现了机器学习中的典型分类算法逻辑斯蒂回归，项目包含数据生成、模型实现与可视化部分，代码注释清晰，且包含说明文档，对新人友好。
机器学习经典算法-logistic回归代码详解
09-20
主要介绍了机器学习经典算法-logistic回归代码详解，具有一定借鉴价值，需要的朋友可以参考下。
机器学习-logistic回归.zip
04-12
进入21世纪，深度学习成为机器学习领域的重要突破，采用多层神经网络模型，通过大量数据和强大的计算能力来训练模型，在计算机视觉、自然语言处理和语音识别等领域取得了显著的成果。 机器学习算法在各个领域都有...
5 分钟内构建一个简单的基于 Python 的 GAN
gongdiwudu的专栏
06-07 550
生成对抗网络（GAN）因其能力而在学术界引起轩然大波。机器能够创作出新颖、富有灵感的作品，这让每个人都感到敬畏和恐惧。因此，人们开始好奇，如何构建一个这样的网络？
01_基于人脸的常见表情识别实战_深度学习基础知识
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
06-04 922
在信号处理领域中，任意一个线性系统的输出，就是输入信号和系统激励函数的卷积。放到数字图像处理领域，卷积操作一般指图像领域的二维卷积。一个二维卷积的案例如上，在图像上滑动，取与卷积核大小相等的区域，逐像素做乘法然后相加。卷积就是：一个核矩阵在一个原始矩阵上从上往下、从左往右扫描，每次扫描都得到一个结果，将所有结果组合到一起得到一个新的结果矩阵def corr2d(X, K): # X 是输入，K是卷积核h, w = K.shape # 获取卷积核的大小。
深度学习的舌象诊断：从舌头上了解系统性疾病!
最新发布
知来者逆的博客
06-07 685
东方医学是以中药、针灸为主的东方传统医学。西医是直接用药物或手术治疗身体不好的部分，而东方医学的目的是着眼于整个身体，而不是只治疗不好的部分，方法有针灸、中医等。此外，它还有自己的"密约"概念。"密约"的意思是还没有生病，但还没有健康，目的是防止因疲劳和积累的抵抗力而引起的疾病。东方医学的诊断方法有"四诊"，其中"望闻问切"是从面部表情、外貌等外在特征来把握身体状态的。其中，舌诊可以从舌头的状态中把握身体的状态，以无创的方式高准确度地找出病症点。
【TensorFlow深度学习】卷积层变种与深度残差网络原理
yuzhangfeng的博客
06-03 538
积层与ResNet，前者是深度学习演进化的关键基石，后者是优化策略的创新。积层变种让CNN适应多样的数据，深度，而ResNet通过Skip Connection解决过拟合，使模型深。理解这两者，你将能构建更健壮、泛化的深度模型，深度学习之旅更进一步。通过代码实践，不仅掌握理论，更感受深度学习的魅力。
近似推断---变分logistic回归
06-10
变分 logistic 回归是一种用于二分类问题的概率模型。在变分推断中，我们试图找到一个近似后验分布 $q(\mathbf{w})$，其中 $\mathbf{w}$ 是模型参数向量。我们使用变分下界来最大化后验概率，这个下界是由一个称为变分分布 $q(\mathbf{w})$ 和一个称为证据下界的项组成的。 具体来说，在变分 logistic 回归中，我们假设后验分布 $p(\mathbf{w}|\mathbf{y},\mathbf{X})$ 是给定数据 $\mathbf{y}$ 和 $\mathbf{X}$ 的先验分布 $p(\mathbf{w})$ 与 likelihood $p(\mathbf{y}|\mathbf{X},\mathbf{w})$ 的乘积，即 $p(\mathbf{w}|\mathbf{y},\mathbf{X}) \propto p(\mathbf{w})p(\mathbf{y}|\mathbf{X},\mathbf{w})$。然后，我们选择一个形式为 $q(\mathbf{w}) = \mathcal{N}(\boldsymbol{\mu},\boldsymbol{\Sigma})$ 的变分分布，其中 $\boldsymbol{\mu}$ 和 $\boldsymbol{\Sigma}$ 是要学习的参数。最后，我们使用变分下界来最大化后验概率： $$ \log p(\mathbf{y},\mathbf{X}) \geq \mathcal{L}(q) = \mathbb{E}_{q(\mathbf{w})}[\log p(\mathbf{y}|\mathbf{X},\mathbf{w})] - \text{KL}(q(\mathbf{w})||p(\mathbf{w})), $$ 其中 $\text{KL}(q(\mathbf{w})||p(\mathbf{w}))$ 是变分分布 $q(\mathbf{w})$ 和先验分布 $p(\mathbf{w})$ 之间的 Kullback-Leibler 散度。 在这个模型中，我们可以使用梯度下降等优化算法来最大化变分下界。最终，我们可以使用学习到的变分分布 $q(\mathbf{w})$ 来进行预测。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值