torch矩阵计算

已于 2024-01-09 13:26:12 修改
阅读量559 收藏 8
点赞数 11
文章标签： 矩阵 人工智能 算法
于 2024-01-08 23:13:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dwendwen_Liu/article/details/135468183
版权

1.标量求导

2.亚导数

对于不可微的函数

3.梯度——指向变化幅度最大的方向

标量-标量  标量

向量-标量 向量

向量- 向量 矩阵

依次对应求导

 

向量与向量 （m,n）

   

求导法则     

  x,y,b 均为矩阵        \frac{\partial \left \langle x,y \right \rangle}{\partial x}=x^{T}        \frac{\partial \left \| b \right \| ^{2}}{\partial b}=2b^{T}        \frac{\partial x}{\partial x}=I（identity matrix 单位矩阵）

复合函数链式法则，注意形状

举例

4.自动求导

       计算一个函数在指定值上的导数    与符号求导(D[4x^{3}+x^{2}+3,x]=2x+12x^{2})以及数值求导(\frac{\partial f(x)}{\partial x}=\lim_{h\to0}\frac{f(x+h)-f(x)}{h})不同

       借助计算图，与高数复合函数求导图相似

自动求导两种模式

Dwendwen_Liu
关注
在Pytorch中优化Autograd稀疏矩阵计算-附项目源码-优质项目实战.zip
05-28
在处理大规模数据时，尤其是涉及稀疏矩阵计算的场景，优化Autograd的性能变得尤为关键。本项目专注于在PyTorch环境中优化Autograd对稀疏矩阵运算的处理，提高计算效率，并附带了完整的项目源码供学习和实践。 首先...
torch和torchvision版本树莓派python3.7专用
09-25
PyTorch提供了动态计算图的功能，使得模型构建和调试更为灵活。在这个场景中，我们关注的是针对树莓派（Raspberry Pi）平台优化的PyTorch及其图像处理库torchvision的版本。 树莓派是一种小型、低成本的单板计算机...
torch_geometric 加torch 包
12-31
4. **torch_sparse-0.5.1+cpu-cp37-cp37m-win_amd64.whl** 和 **torch_scatter-2.0.3+cpu-cp37-cp37m-win_amd64.whl**：这两个是 torch 的扩展库，分别提供了稀疏矩阵操作和散射操作的支持，对于处理大规模图数据至...
关于pytorch中部分矩阵乘法的总结（torch.mm,torch.mul,torch.matmul）
12-21
对于多维张量，只要最后两个维度满足矩阵乘法条件，就可以进行计算。例如： ```python tensor1 = torch.tensor([[1,1,1,1],[2,2,2,2],[3,3,3,3]], dtype=torch.float32) tensor2 = torch.ones(4) print(torch....
详解torch.Tensor的4种乘法
09-16
在PyTorch中，`torch.Tensor`提供了多种乘法操作，这些操作在神经网络的计算和数据处理中扮演着重要角色。本文将详细介绍`torch.Tensor`的四种乘法：`*`、`torch.mul`、`torch.mm`和`torch.matmul`。 1. `*` 运算符...
3240. 最少翻转次数使二进制矩阵回文 II
NEFU AB-IN's Blog
08-07 323
Leetcode 3240. 最少翻转次数使二进制矩阵回文 II
【线性代数】【二】2.6 矩阵的四种基本子空间
liuyider的博客
08-07 701
前面我们已经学习了矩阵的两个相关子空间：列空间与零空间；本文将继续介绍剩余两个基本子空间：行空间以及行空间对应的零空间。同样的，我们也将分析这些子空间之间的联系。本文介绍了矩阵的四种基本子空间，并分析了行列空间的重要性质：行秩等于列秩。从而，我们可以根据矩阵的特征，灵活地选择使用行向量或列向量来进行矩阵的分析。
如何在Power BI的表或矩阵中创建迷你图？
PowerBI工坊
08-07 233
Power BI目前已支持在表或矩阵添加迷你图（迷你图功能目前为预览版）。迷你图可以方便用户快速查看和比较趋势，同时可以突出显示最大值和最小值等等，非常实用。
leetcode-240. 搜索二维矩阵 II
曼巴的博客
08-07 219
2）如果等于target，就返回true。3）如果大于target，就col-=1。4）如果小于target，就row+=1。1）从第一行，最后一列开始遍历。编写一个高效的算法来搜索。
力扣-240.搜索二维矩阵(2)
Pikaqiu_life的博客
08-07 193
这道题的想法就是,整体遍历,在遇到比target还大的,就停止这行的遍历,然后转过去继续遍历下一行,如果有一行的开头大于target,直接返回false.ok,过了,今天OVER!
nano gpt 中MLP的矩阵长度为什么是C*4的；MLP多层感知机:s x h；llama3 和chatGpt4的 MLP 隐藏层数量；
ZJQ的博客
08-07 188
在nano GPT中，MLP（多层感知机）的矩阵长度之所以是输入嵌入维度（C）的4倍，这主要源于MLP的设计目的和其在Transformer模型中的作用。因此，nano GPT中MLP的矩阵长度之所以是输入嵌入维度C的4倍，是为了增加模型的容量和学习能力，使模型能够处理更复杂的任务。这种设计是Transformer模型中常见的做法，并在许多自然语言处理任务中取得了优异的性能。需要注意的是，虽然这里以4倍为例进行说明，但实际上MLP的扩展倍数可以根据具体任务和模型设计进行调整。
C语言 | Leetcode C语言题解之第329题矩阵中的最长递增路径
m0_59237910的博客
08-08 378
C语言 | Leetcode C语言题解之第329题矩阵中的最长递增路径
C++ PCL 计算多个RT矩阵变换后的变换矩阵
u013798595的博客
08-07 254
这里，rotation_matrix1和rotation_matrix2是3x3的旋转矩阵，translation_vector1和translation_vector2是3x1的平移向量。定义变换矩阵：为两个RT（Rotation-Translation）矩阵定义Eigen::Matrix4f变量。这里假设input_cloud是你的输入点云，cloud_transformed是输出的变换后的点云。创建变换矩阵对象：使用PCL的Eigen::Matrix4f类来表示变换矩阵。
矩阵的导数运算
最新发布
qq_24946843的博客
08-09 107
如果一个标量方程f(y1,y2,...ym)有m个自变量，求取它的极值就需要求取m组的方程组。当然可以用一种简洁的方式来表达它，比如二维方程f(y1,y2)可以把其中的变量写成向量的形式。为一个向量(行数与分母相同，称为分母布局)。二维方程f(y1,y2)求极值即求偏导，令。一维方程f(y)求极值即求导，令。就是自变量是一个向量的方程。由于A为对称矩阵，所以。若按分子布局，则写成。，若A为对称矩阵，则。为1×1的标量方程，
图论------如何使用矩阵来存储图的信息（邻接矩阵表示法）。
markingyi的博客
08-09 663
使用邻接矩阵来表示图的信息。
74. 搜索二维矩阵
Ashiu的博客
08-09 444
输入：matrix = [[1,3,5,7],[10,11,16,20],[23,30,34,60]], target = 13。输入：matrix = [[1,3,5,7],[10,11,16,20],[23,30,34,60]], target = 3。给你一个整数 target ，如果 target 在矩阵中，返回 true；否则，返回 false。链接：https://leetcode.cn/problems/summary-ranges。每行的第一个整数大于前一行的最后一个整数。
大模型微调工具-torchtune
weixin_40777649的博客
08-08 739
1.定义2.安装3. 案例。
【OpenCV C++20 学习笔记】阈值操作—分离图片对象
TeamLee的博客
08-04 1007
简单介绍了OpenCV中二值化、反二值化等阈值操作的原理和代码实现。
【Sklearn学习】Sklearn的数据集介绍
一条咸鱼
08-07 613
sklearn数据集的介绍，方便后面学习使用的对应的数据集。
torch 计算矩阵的范数
05-15
在 PyTorch 中，可以使用 `torch.norm()` 函数来计算矩阵的范数。该函数有两个参数，第一个参数是要计算范数的张量，可以是一个矩阵或向量，第二个参数是范数类型，常用的有 1、2、无穷大范数等。 例如，计算一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值