05线性代数（李沐深度学习笔记）

最新推荐文章于 2024-04-22 09:58:57 发布
最新推荐文章于 2024-04-22 09:58:57 发布
阅读量596 收藏 4
点赞数 1
分类专栏： 李沐深度学习 文章标签： 线性代数 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq992338041/article/details/120145972
版权

文章目录

线性代数

在这里插入图片描述
在这里插入图片描述
直观理解
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
矩阵乘法相当于扭曲空间，向量通过一个矩阵相乘变成另外一个向量，相当于矩阵把一个空间进行了扭曲
在这里插入图片描述
矩阵也有长度，即范数
在这里插入图片描述
c和b是向量。F范数相当于把矩阵拉成一个向量求范数，由于F范数比较简单，所以一般会用F范数
在这里插入图片描述
在这里插入图片描述
在数学上，特别是在矩阵理论中，置换矩阵是一个方形二进制矩阵，它在每行和每列中只有一个1，而在其他地方则为0。
设P是一个m×n的 (0,1) 矩阵，如果 m≤n且 PP′=E，则称 P为一个 m×n的置换矩阵。其中P′是P的转置矩阵，E是m阶单位方阵。
在这里插入图片描述

线性代数实现

标量由只有一个元素的张量表示
在这里插入图片描述
你可以将向量视为标量值组成的列表
在这里插入图片描述
通过张量的索引来访问任一元素
在这里插入图片描述
访问张量的长度在这里插入图片描述
只有一个轴的张量，形状只有一个元素
在这里插入图片描述
通过指定两个分量m和m来创建一个形状为m×n的矩阵在这里插入图片描述
矩阵的转置
在这里插入图片描述
对称矩阵( symmetric matri)A等于其转置：A=A^T
在这里插入图片描述
就像向量是标量的推广，矩阵是向量的推广一样，我们可以构建具有更多轴的数据结构
在这里插入图片描述
给定具有相同形状的任何两个张量，任何按元素二元运算的结果都将是相同形状的张量
在这里插入图片描述
两个矩阵的按元素乘法称为哈达玛积( Hadamard product)在这里插入图片描述

在这里插入图片描述
计算其元素的和
在这里插入图片描述
表示任意形状张量元素和
在这里插入图片描述
在这里插入图片描述
指定求和汇总张量的轴
在这里插入图片描述
对哪个轴求和，就会消除哪个轴
在这里插入图片描述

一个与求和相关的量是平均值(mean或 average)
在这里插入图片描述
计算总和或均值时保持轴数不变
在这里插入图片描述
通过广播将A除以sum_A广播机制要维度个数一样吗？
在这里插入图片描述
某个轴计算A元素的累计总和
在这里插入图片描述
点积是相同位置的按元素乘积的和
在这里插入图片描述
我们可以通过执行按元素乘法，然后进行求和来表示两个向量的点积
在这里插入图片描述
在这里插入图片描述
我们可以将矩阵矩阵乘法AB看作是简单地执行m次矩阵-向量积，并将结果拼接在一起，形成一个n×m矩阵
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

QA

  1. clone和copy的区别
    copy分为深层copy和浅层copy，不一定复制地址，而clone一定会复制内存？？
    这地方应该有错，clone不复制内存，并不共享数据，https://blog.csdn.net/guofei_fly/article/details/104486708
  2. torch不区分行向量和列向量吗？
    对于向量来说，从计算机角度，就是一个数组，要区分行列向量要用矩阵
  3. sum(axis[0,1])怎么求？
    如果是rgb图像，可以想象成将rg两个通道的求和了
  4. 稀疏的时候可以把它当成单词做词向量解决吗？
    一般是可以的，也是这样做的
裂缘冰释
关注
专栏目录
李沐动手学深度学习-06矩阵计算
keepdreams的博客
10-03 235
06矩阵计算 矩阵计算中最重要的就是矩阵的导数计算，这对于深度学习或者机器学习的训练与优化都是非常重要的依据 如果dy/dx，如果y是一个标量，而x是一个向量，那么就需要使用y的这个表达式，对x1,x2全部求一次导，然后变成一个向量；相反如果y是一个向量而x是一个标量的话，那么每一个y都需要对指定的x进行求导；如果x，y都是向量，那么就是每一个y都需要对每一个x进行求导。 拓展到矩阵可以看出，如果矩阵和向量进行求导运算，那么结果就会变成一个三维。 如果矩阵和矩阵进行进行求导运算的话那么就会变成以四维的结果。
矩阵内积、外积（克罗内克积）和Hadamard积
热门推荐
zhinanpolang的专栏
03-18 11万+
一、矩阵的内积：两个矩阵A、B对应分量乘积之和，结果为一个标量，记作<A,B>（与向量的内积/点积/数量积的定义相似）。 所以A、B的行数列数都应相同，且有结论<A,B>=tr(ATB)。 例如：,,则<A,B>=1*5+2*6+3*7+4*...
matlab图像配准之SSD、NCC、SAD等相似度计算
yohnyang的博客
11-03 2790
matlab图像配准之SSD、NCC、SAD等相似度计算
PyTorch深度学习实战 | 神经网络的优化难题
不断学习，不断进步，提高自己
03-20 2146
即使我们可以利用反向传播来进行优化，但是训练过程中仍然会出现一系列的问题，比如鞍点、病态条件、梯度消失和梯度爆炸，对此我们首先提出了小批量随机梯度下降，并且基于批量随机梯度下降的不稳定的特点，继续对其做出方向和学习率上的优化。
NLP-D37-nlp比赛D6-DMN&《人类语言处理》05
weixin_45252975的博客
06-01 136
芜湖
李沐深度学习笔记-05线性代数
qq_41701219的博客
02-12 834
1.线性代数 标量由只有一个元素的张量表示 import torch x=torch.tensor([3.0]) y=torch.tensor([2.0]) x+y,x*y,x/y,x**y #输出(tensor([5.]), tensor([6.]), tensor([1.5000]), tensor([9.])) 可以将向量视为标量值组成的列表 x=torch.arange(4) x #输出tensor([0, 1, 2, 3]) 通过张量的索引来访问任一元素 x[3] #输出tensor(3)
《动手学深度学习》Pytorch版学习笔记（一）：Task01
qq_30006749的博客
02-14 835
《动手学深度学习》Pytorch版学习笔记（一）：Task01课程背景主修课程1 任务2 线性回归2.1 线性回归的基本要素2.2 线性回归模型从零开始的实现2.3 线性回归模型使用pytorch的简洁实现2.4 两种实现方式的比较3 softmax和分类模型3.1 softmax回归的基本概念3.2 如何获取Fashion-MNIST数据集和读取数据3.3 softmax回归模型的从零开始实现3...
深度学习预备知识
qq_44074143的博客
12-03 1983
深度学习（pytorch） 本系列为跟着李沐学习深度学习系列整理的笔记，在此自己总结梳理一遍，加深理解和记忆。更详细的视频教程可参考动手学深度学习 PyTorch版，笔记教程可参考动手学习深度学习 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录深度学习（pytorch）前言一、深度学习概念1.深度学习的起源和发展2.深度学习的关键二、深度学习基础1.预备知识——数据操作2.读入数据总结 前言 本系列为跟着李沐学习深度学习系列整理的笔记，在此自己总结梳理一遍，加深理解和记忆。
了解机器学习 深度学习常用的框架、工具
2401_83817418的博客
04-22 1234
外链图片转存中…(img-2zJibmEM-1713751126171)]
《动手学深度学习》组队学习——Task1-2打卡
m0_51944401的博客
03-20 176
参加组队学习的学习笔记。
矩阵理论在计算机视觉专业方面的应用
12-05
矩阵论在图像处理方面有着极为广泛的应用，比如奇异值分解，QR分解以及范数等
哈达玛积 Hadamard Product
WGS.
01-17 7532
Hadamard Product是一种矩阵乘法： m x n矩阵A = [aij]与矩阵B = [bij]的Hadamard积，记为A * B 。 新矩阵元素定义为矩阵A、B对应元素的乘积(A * B)ij = aij*bij。 当矩阵A、矩阵B为同阶矩阵时，两矩阵的哈达玛积为对应位置元素相乘 https://baike.baidu.com/item/%E5%93%88%E8%BE%BE%E7%8E%9B%E7%A7%AF/18894493?fr=aladdin ...
矩阵的 Hadamard 积
颹蕭蕭
01-11 1万+
矩阵的 Hadamard 积就是两个同维矩阵的逐**元素对应相乘**。
矩阵乘法的几何意义
qq_40982044的博客
04-15 2万+
最近开始复习线代线代真的该画画图不要只是背公式算可能太高维的不容易想象 但是低维画画图能加深理解对了 要将矩阵看作变换2*3矩阵a  1   -1     20    2    -1三个基向量即图中蓝线俯视（1,0）（-1,2）（2,-1）分别是矩阵a的基向量在标准直角坐标系中坐标即这个变换表示：原x轴单位向量1,0,0，对应到一个二维向量1,0 原y轴单位向量0,1,0，对应二维向量-1,2，这...
Hadamard Product（哈达玛乘积）
sxl的博客
03-31 1万+
哈达玛乘积是机器学习中常用的一种矩阵计算操作。不同于传统矩阵相乘计算方式，它是对应矩阵元素相乘，的是两个相乘的矩阵必须行列数相同。在Pytorch中的具体操作是（详情点击）。当然，Numpy中也能计算就是*这个运算。具体的相乘细节看下面的图即可。
06 逆矩阵，列空间，零空间
asdfghwunai的博客
12-03 1385
Table of Contents   I. 重申矩阵的作用 II. 矩阵和线性方程组 1.矩阵的用途 2.从线性变换角度解释线性方程组 3.矩阵A扭曲空间的几种效果 (1) 共线 (2) 不共线 III.矩阵的逆 1.矩阵逆的几何意义 2.逆矩阵与行列式与方程组的解 (1)逆矩阵与行列式的取值 (2) 行列式为0一定不存在解吗? IV. 秩 1.秩的几何意义 2....
三维错切变换矩阵_1、奇异矩阵的感性理解
weixin_36277054的博客
12-31 613
说明：本文本系列是个人心得，学习MIT Gilbert Strang的线性代数之后心得，其目的并非传播，而是本人记载体会。本系列同时旨在理解联系线性代数和实际空间的感性认知。 文笔之差，谢绝转载。三阶矩阵乘于三维列向量，Ax=b， Strang 说的不够立体，应该是 一个 原本基于老空间（x=1 y=1 z=1） 所表示的三维列向量，在 ——>三维空间线性变换后的新空间中，基于新基和新三维的...
python 矩阵扭曲（变形）
廷益_飞鸟的博客
08-26 733
python 网格矩阵扭曲（变形） import cv2 as cv import numpy as np # 获取变形后的矩阵 def get_perturbed_mesh(ms, vtex, mv): perturbed_mesh = ms.copy() # 坐标与中心坐标距离 xv = perturbed_mesh - vtex # 坐标 转换成3维 hxv = np.zeros((np.shape(xv)[0], np.shape(xv)[1] + 1)
Pytorch中的哈达玛积(Hadamard product)与矩阵乘积(Matrix product)的区别
qq_17464457的博客
12-18 1万+
在Pytorch中tensor处理时我们经常会遇到矩阵之间的乘法运算，而对于不同的要求会有不同的计算方式，特别是Hadamard积与矩阵乘积之间的差别。 哈达玛积：对于两个举证或者数组A和B，A和B的维度至少是2，如果是二位数组，则AB两个数组相对应的维度的值必须相等，例如A为m*n的数组，仅当数组B满足维度为m*n时，A与B才能进行哈达玛积运算，具体计算方式如下： 代码示例： a =...
李沐动手深度学习笔记
最新发布
08-22
李沐是一位知名的机器学习工程师，他在GitHub上编写了非常受欢迎的《动手学深度学习》系列教程。这本笔记以其深入浅出的方式讲解深度学习基础知识，包括神经网络、卷积神经网络（CNN）、循环神经网络（RNN）、优化算法等内容。它不仅适合初学者入门深度学习，也对有一定基础的学习者提供实用的实践指导。通过该笔记，读者可以了解到如何搭建模型，理解反向传播的工作原理以及如何处理常见的深度学习任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值