【李沐--深度学习笔记】003矩阵计算

已于 2023-11-08 23:25:57 修改
阅读量107 收藏
点赞数
分类专栏： [李沐]动手学深度学习 文章标签： 机器学习 笔记
于 2023-11-08 23:25:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73697075/article/details/134300594
版权

1. 标量导数 


2. 亚导数

3. 求导

3.1 梯度

① y是向量，x是标量的话，求导为标量。

② y是向量，x是向量的话，求导为矩阵。

3.2 标量对向量求导

③ x_{1}^{2}+2x_{2}^{2}是一个椭圆，梯度是指向值变化最大的方向。

3.3 向量对标量求导

3.4 向量对向量求导

3.5 扩展矩阵对矩阵求导

Asa13opp
关注
专栏目录
李沐-动手学深度学习笔记-卷积神经网络
东方
09-27 720
卷积运算（互相关）：是矩阵的点积多通道输入是点积的基础上求和，多通道输出：就是把多通道输入的结果在指定维度（0维度）堆叠代码和运行结果如下# 多输入通道互相关运算# 多通道输入运算def corr2d_multi_in(X , K) : #核心在于求和 return sum(d2l . corr2d(x , k) for x , k in zip(X , K)) # X , K为 3 通道矩阵， for 使得对最外面通道进行遍历。
李沐深度学习笔记-05线性代数
qq_41701219的博客
02-12 820
1.线性代数 标量由只有一个元素的张量表示 import torch x=torch.tensor([3.0]) y=torch.tensor([2.0]) x+y,x*y,x/y,x**y #输出(tensor([5.]), tensor([6.]), tensor([1.5000]), tensor([9.])) 可以将向量视为标量值组成的列表 x=torch.arange(4) x #输出tensor([0, 1, 2, 3]) 通过张量的索引来访问任一元素 x[3] #输出tensor(3)
李沐pytorch学习-矩阵求导
qq_26545507的博客
08-15 195
对于的计算结果，根据y和x的维度，可根据下图得到导数的维度图1. 矩阵求导结果维度图对于函数：此时 y 是标量，自变量为矩阵对自变量求导数求导样例如下：图2. 求导样例。
【李沐深度学习笔记】矩阵计算（2）
随手写写
09-22 145
课程地址和说明 线性代数实现p4 本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。 本节是第二篇 矩阵计算 矩阵的导数运算 此处参考了视频：矩阵的导数运算 为了方便看出区别，我将所有的向量都不按印刷体加粗，而是按手写体在向量对应字母上加箭头的方式展现。 标量方程对向量的导数 在一元函数中，求一个函数的极值点，一般令导数为0（该点切线斜率为0），求得驻点，最后通过极值点定义或推论判断其是否为极值点，也就是如下过程： 求多元函数极值的方法如下： （这个图中给的自变
【李沐深度学习笔记】矩阵计算（3）
随手写写
09-22 157
课程地址和说明 线性代数实现p4 本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。 本节是第三篇，由于CSDN限制，只能被迫拆分 矩阵计算 矩阵的导数运算 常用公式及其证明 若x→=[x1x2⋮xm]\overrightarrow {x}=\begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{m} \end{bmatrix}x=​x1​x2​⋮xm​​​，A=[a11a12⋯a1ma21a22⋯a2m⋮⋮⋱⋮am1am2⋯
李沐-动手学习深度学习v2
Ashley_ly的博客
11-03 1030
李沐-动手学深度学习笔记
深度学习-学习笔记（数值稳定性）
weixin_37815696的博客
04-20 971
数值稳定性 数值稳定性是神经网络模型一个非常重要的内容，模型不稳定一般与梯度消失和梯度爆炸有关。 为了保持数值的稳定，我们需要选择合适的参数初始化方案和合理的非线性激活函数。 梯度的表达 ...
08 线性回归 动手学深度学习 PyTorch版 李沐视频课笔记
tangailong8709的博客
02-09 677
08 线性回归 动手学深度学习 PyTorch版 李沐视频课笔记
李沐49_样式迁移——自学笔记
Rrrrrr900的博客
04-18 718
由于合成图像是风格迁移所需迭代的模型参数，我们只能在训练过程中通过调用extract_features函数来抽取合成图像的内容特征和风格特征。实验中，我们选择第四卷积块的最后一个卷积层作为内容层，选择每个卷积块的第一个卷积层作为风格层。由于我们还需要中间层的输出，因此这里我们逐层计算，并保留内容层和风格层的输出。使用VGG层抽取特征时，我们只需要用到从输入层到最靠近输出层的内容层或风格层之间的所有层。我们训练模型： 首先将内容图像和风格图像的高和宽分别调整为300和450像素，用内容图像来初始化合成图像。
【机器学习】4 ——熵
qq_43507078的博客
09-07 1197
信息熵
GAN 干！！！！
qq_56618414的博客
09-07 1288
自监督学习(Self-supervised learning) 旨在对于无标签数据 ，通过设计 辅助任务（Proxy tasks） 来挖掘数据自身的表征特性作为监督信息，来提升模型的特征提取能力（PS：这里获取的监督信息不是指自监督学习所面对的原始任务标签，而是构造的辅助任务标签）。D 的训练过程：从真实数据分布和噪音变量的先验分布中采样数据，用 value function 训练一个二分类的分类器，但分类器输出的概率一直是 1 / 2 --> D 什么都分不出来 --> 分布是重合的。
【机器学习】5 ——过拟合，正则化
qq_43507078的博客
09-08 761
正则化
深度学习--对抗生成网络（GAN, Generative Adversarial Network）
GDHBFTGGG的博客
09-07 1283
对抗生成网络（GAN）是近年来在生成式模型领域的重要突破，通过生成器与判别器的对抗博弈，GAN能够生成高度逼真的数据。其应用范围广泛，涵盖了图像生成、数据增强、超分辨率重建、风格迁移等多个领域。然而，GAN的训练过程具有挑战性，特别是在平衡两者的对抗关系上仍然存在技术难题。随着技术的不断发展，GAN在生成数据、创造内容等方面的应用前景将更加广阔。
AI论文精读笔记-Generative Adversarial Nets(GAN)
最新发布
小菜的博客
09-11 939
GAN论文精度笔记
Cadenza 项目：机器学习如何改善听力受损人士的音乐聆听体验
声纹感知 洞察芯声
09-10 1178
在本文中，我们描述了Cadenza项目：挑战方法首次应用于改善听力损失者音乐音质的问题。报告了两个挑战，主要区别在于第一个挑战（CAD1）是用于通过耳机收听，而第二个挑战（ICASSP24），是用于通过扬声器收听。任务目标是对立体声音乐信号进行分解，然后进行重混，因为这样的系统可以帮助解决已知的音乐收听和听力损失问题。
机器学习-------数据标准化
yanminghe66666的博客
09-10 771
在做训练时，需要先将特征值与标签标准化，可以防止梯度防炸和过拟合；将标签标准化后，网络预测出的数据是符合标准正态分布的—StandarScaler()，与真实值有很大差别。因为StandarScaler()对数据的处理是（真实值-平均值）/标准差。同时在做预测时需要将输出数据逆标准化提升模型精度：标准化 / 归一化使不同维度的特征在数值上更具比较性，提高分类器的准确性。提升收敛速度：对于线性模型，数据归一化使梯度下降过程更加平缓，更易正确的收敛到最优解。
【人工智能学习笔记】4_4 深度学习基础之生成对抗网络
RIKI_1
09-10 513
一种深度学习模型，通过判别模型（Discriminative Model）和生成模型（Generative Model）的相互博弈学习，生成接近真实数据的数据分布或对输入数据进行分类；近年来复杂分布上无监督学习最具前景的方法之一。
机器学习和深度学习的区别
swpucwf的博客
09-10 1560
在当前人工智能的研究中，（Machine Learning, ML）和（Deep Learning, DL）是两项核心技术，它们虽然经常被混用，但在模型复杂性、数据依赖性以及应用场景等多个维度上存在显著差异。作为这两个领域的研究者，有必要从更高层次的视角出发，详细剖析它们的差异，以帮助读者理解为何深度学习逐渐成为现代人工智能的“主角”。在讨论（ML）与（DL）时，除了它们的差异、应用和未来发展方向，了解它们的是理解它们演进和重要性的关键。下面将深入探讨机器学习和深度学习的历史发展。
李沐动手深度学习笔记
08-22
李沐是一位知名的机器学习工程师，他在GitHub上编写了非常受欢迎的《动手学深度学习》系列教程。这本笔记以其深入浅出的方式讲解深度学习基础知识，包括神经网络、卷积神经网络（CNN）、循环神经网络（RNN）、优化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值