cs231n训练营学习笔记（7）

最新推荐文章于 2021-06-22 21:56:42 发布
最新推荐文章于 2021-06-22 21:56:42 发布
阅读量164 收藏
点赞数
分类专栏： cs231n
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29843303/article/details/103668834
版权

反向传播

计算复杂函数的解析梯度，（每个变量的导数指明了整个表达式对于该变量的值的敏感程度）

利用计算图这个框架

圆形节点表示运算，也被叫做门（gate）

复杂函数梯度根据链式法则反向递归得到，每个圆形节点可得到局部梯度

下面是一个例子，为了方便理解

 

更复杂的情况是，各个变量，比如上面局部梯度的x,y,z是向量的时候，局部梯度就变成了雅可比矩阵

但是当维数太大以及一次需要同时处理很多输入的时候，计算雅可比矩阵不太现实

如果节点处的计算是取最大值，那么可以通过分析，知道雅可比矩阵是个对角矩阵，直接计算填入

 

乘法的向量化梯度计算时候可以通过梯度的维度回推哪个矩阵在前，哪个矩阵该转置，梯度总是和变量一样的维度比较好确认。但是比如说2*2就很难判断是不是转置过了的

这里通过具体看改变了某个x是如何影响q的，可以看出来是变化了一列W，要和q这个列向量相乘需要转置

 

在线性分类器中，权重和输入是进行点积w^{T}x_{i}，这说明输入数据的大小对于权重梯度的大小有影响。例如，在计算过程中对所有输入数据样本x_{i}乘以1000，那么权重的梯度将会增大1000倍，这样就必须降低学习率来弥补。这就是为什么数据预处理关系重大，它即使只是有微小变化，也会产生巨大影响。

前向后向程序运行：

 

就叫荣吧
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cs231n课程学习笔记中文版
01-03
cs231n课程学习笔记翻译后的中文版，经过整理后变为word文档，供大家下载学习
梯度、散度与旋度
07-07 2975
梯度、散度和旋度是矢量分析里的重要概念。之所以是“分析”，因为三者是三种偏导数计算形式。它们的符号分别记作如下： 从符号中可以获得这样的信息： ①求梯度是针对一个标量函数（φφ 未加粗 ），求梯度的结果是得到一个矢量函数。这里φ称为势函数； ②求散度则是针对一个矢量函数，得到的结果是一个标量函数（内积），跟求梯度是反一下的； ③求旋度（叉积）是针对一个矢量函数，得到的还是一个矢量函数。
计算梯度的三种方法
pythonplusvable
04-06 2万+
转自：https://blog.csdn.net/xuluhui123/article/details/54407669# coding=gbk """ function : f(x,y,z) = (x+y)z """ # first method 解析法 def grad1(x,y,z): dx = z dy = z dz = (x+y) return (d...
复杂二维函数极值求解——小批量随机梯度下降法实战
hxy615的博客
06-22 701
小批量梯度下降法（Mini-batch Gradient Descent，Mini-Batch GD）是随机梯度下降法（Stochastic Gradient Descent，SGD）和批量梯度下降法（Batch Gradient Descent，BGD）的折中，相比较于SGD计算代价函数梯度的时候只考虑一个样本和BGD考虑所有样本，Mini-Batch GD计算代价函数梯度的时候考虑一小批样本，兼顾了寻优速度和收敛性。 函数原图像： 源码如下： %% function ...
求解函数梯度（Python，numpy)
weixin_41423872的博客
12-29 5789
#求函数的梯度，也就是所有偏导的组合 import numpy as np def numberical_grandient(f, x): h = 1e-4 #定义一个微小量，不能太小，太小计算机没法正确表示 grad = np.zeros_like(x) #生成和x形状相同的数组 for idx in range(x.size): #计算所有偏导 tmp_val = x[idx] x[idx]
深度学习笔记（五） 代价函数的梯度求解过程和方法
chenfenggang的专栏
08-31 2万+
作为自己的笔记系列，方便自己查阅和理解。 1）什么是梯度 梯度本意是一个向量（矢量）当某一函数在某点处沿着该方向的方向导数取得该点处的最大值，即函数在该点处沿方向变化最快，变化率最大（为该梯度的模）。 在二元函数的情形，设函数z=f(x,y)在平面区域D内具有一阶连续偏导数，则对于每一点P(x,y)∈D，都可以定出一个向量(δf/x)*i+(δf/y)*j
2023最新CS231N课程笔记
01-12
综上所述，2023年CS231n课程笔记为学习者提供了一个全面了解计算机视觉的平台，通过深入学习和实践，可以提升对图像理解、模式识别和智能分析的能力，为未来在这个领域的研究和开发打下坚实基础。
cs231n课程笔记
10-06
《CS231n课程笔记》是一份针对机器学习初学者的重要资料，尤其对那些希望深入了解计算机视觉领域的学习者极具价值。这份笔记基于斯坦福大学的计算机科学课程CS231n，涵盖了广泛的理论概念、算法和技术，旨在帮助读者...
cs231n作业assignment1
08-09
CS231N计算机视觉公开课的作业答案，只有assignment1，其中包含了作业，还有作业的答案，还有在网上下载的数据集，都在里面了。这个作业是用的anaconda的jupyter来做的。 如果后期的软件下载，或者如何打开使用，...
cs231n+深度学习学习笔记
04-25
CS231n是斯坦福大学的一门计算机视觉课程，主要关注深度学习，特别是卷积神经网络（CNN）的应用。这门课程对于初学者来说是一个很好的资源，因为它涵盖了图像分类、损失函数、优化方法和神经网络的核心概念。 1. ...
cs231n笔记：计算图与反向传播
pangpangben的博客
04-24 272
computational graph: 若能用计算图表示一个函数，那便可以使用反向传播技术，递归的调用链式法则来计算图中的每个变量的梯度（反向传播是链式法则的递归调用） 在前向传播时，每个节点都会计算local gradient 在反向传播时，每到达一个节点，都会得到从上游返回的梯度（这个梯度时对此节点的输出的求导） 如下图：在反向传播时，当我们到达这个节点，就已经从上游得到了L对z的梯度。现在的想法是去求对此节点的输入的梯度（即对x，y的梯度） 计算L对此节点输入的梯度（L对x,L对y的梯度）：运用
cs231n 课程作业 Assignment 2
热门推荐
张小彬的专栏
04-07 2万+
上一次作业基本已经讲了构建一个多层神经网络的基本知识，包括其结构，公式推导，训练方法。这一次主要关注卷积神经网络（CNN, Convolution Neural Network），要先读完课程笔记 CS231n Convolutional Neural Networks for Visual Recognition，基本就懂了。特别是那个解释卷积的动态图，非常形象。CNN 主要多了卷积层（convo
【AI】斯坦福CS231n课程练习（1）—— KNN和SVM分类
火火的博客
04-05 1161
文章目录一、前言CS231n简介本篇博客任务二、知识准备1、KNN是什么？2、SVM是什么？三、实验 一、前言 CS231n简介 CS231n全称是: Convolutional Neural Networks for Visual Recognition，即面向视觉识别的卷积神经网络。 本篇博客任务 在 Google Colab 上使用 KNN 和 SVM 进行图像分类，具体细节可以查看官方要求。 只完成 Q1: k-Nearest Neighbor classifier 和 Q2: Trainin
【实验小结】cs231n assignment1 knn 部分
zhyh1435589631的专栏
01-08 2万+
1. 前言这个是斯坦福 cs231n 课程的课程作业， 在做这个课程作业的过程中， 遇到了各种问题， 通过查阅资料加以解决， 加深了对课程内容的理解， 以及熟悉了相应的python 代码实现2. 具体实现部分2.1 knn 调用程序2.1.1 简单说明 knn 算法原理非常简单， 我们之前也总结过一次： http://blog.csdn.net/zhyh1435589631/article/deta
(Review cs231n) Gradient Vectorized
weixin_30894389的博客
03-13 61
注意： 　　1.每次更新，都要进行一次完整的forward和backward，想要进行更新，需要梯度，所以你需要前馈样本，马上反向求导，得到梯度，然后根据求得的梯度进行权值微调，完成权值更新。 　　2.前馈得到损失，反馈得到梯度，对梯度的使用来完成权值更新。 　　3. 训练的过程，前馈，反馈，更新；...... 我们需要进行向量处理，网络中流动的数据并不是标量，全是向量，局部梯度原本...
Java基础入门：掌握基本语法与概念2024最新0基础！！！易懂！！！.md
07-14
Java编程语言的基础语法要点。首先介绍了数据类型与变量的概念，包括整型、浮点型、字符型和布尔型，每种类型的定义和示例代码都有详细解释。其次，讨论了运算符与表达式的使用，包括算术运算符、赋值运算符、关系运算符和逻辑运算符，每种运算符的功能和示例展示。接着，文章深入探讨了控制流程，包括条件语句（if-else、switch-case）和循环语句（for循环、while循环、do-while循环），每种语句的用法和示例演示。随后，文章详细讲解了方法的定义与调用，展示了如何定义带有参数和返回值的方法，并给出了实际使用的示例。最后，文章介绍了Java中的数组与集合，包括如何定义和初始化数组，以及如何使用列表（List）作为集合类型存储数据。字符串处理也得到了关注，包括字符串的拼接、长度、比较、查找和替换等操作。整篇文章通过清晰的教程、详细的示例代码和逐步解释，帮助读者建立起对Java基础语法的全面理解和实际运用能力。
.archivetemp实物图.jpg
07-14
.archivetemp实物图.jpg
牛津通识读本 数学.mobi
最新发布
07-14
牛津通识读本 数学.mobi
12345656734432343
07-13
12345656734432343
CS231N最新课件 14（2019）
10-27
在斯坦福大学开设的CS231N课程是深度学习和卷积神经网络的入门课程，由知名教授李飞飞主讲。该课程最新的课件于2019年更新，对于想要学习深度学习，特别是图像识别的人来说非常合适。课程内容涵盖了深度学习的基本...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值