Pytorch线性代数

最新推荐文章于 2024-07-18 22:55:19 发布
最新推荐文章于 2024-07-18 22:55:19 发布
阅读量1.1k 收藏 17
点赞数 18
分类专栏： Pytorch 文章标签： pytorch 线性代数 python 范数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43409127/article/details/135821543
版权

1、加法运算

A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
B = A.clone()  # 通过分配新内存，将A的一个副本分配给B
A, A + B

# tensor([[ 0.,  1.,  2.,  3.],
#          [ 4.,  5.,  6.,  7.],
#          [ 8.,  9., 10., 11.],
#          [12., 13., 14., 15.],
#          [16., 17., 18., 19.]]),

#  tensor([[ 0.,  2.,  4.,  6.],
#          [ 8., 10., 12., 14.],
#          [16., 18., 20., 22.],
#          [24., 26., 28., 30.],
#          [32., 34., 36., 38.]])

2、乘法运算

A * B
# tensor([[  0.,   1.,   4.,   9.],
#         [ 16.,  25.,  36.,  49.],
#         [ 64.,  81., 100., 121.],
#         [144., 169., 196., 225.],
#         [256., 289., 324., 361.]])

将张量乘以或加上一个标量不会改变张量的形状，其中张量的每个元素都将与标量相加或相乘。

import torch

a = 2
X = torch.arange(24).reshape(2, 3, 4)
print(X)
# tensor([[[ 0,  1,  2,  3],
#          [ 4,  5,  6,  7],
#          [ 8,  9, 10, 11]],

#         [[12, 13, 14, 15],
#          [16, 17, 18, 19],
#          [20, 21, 22, 23]]])

print((a + X).shape)
# torch.Size([2, 3, 4])

print(a + X)
# tensor([[[ 2,  3,  4,  5],
#          [ 6,  7,  8,  9],
#          [10, 11, 12, 13]],

#         [[14, 15, 16, 17],
#          [18, 19, 20, 21],
#          [22, 23, 24, 25]]])

3、降维

可以计算任意形状张量的元素和。

import torch

A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
print(A)
# tensor([[ 0.,  1.,  2.,  3.],
#         [ 4.,  5.,  6.,  7.],
#         [ 8.,  9., 10., 11.],
#         [12., 13., 14., 15.],
#         [16., 17., 18., 19.]])

print(A.sum())
# tensor(190.)

指定张量沿哪一个轴来通过求和降低维度。

为了通过求和所有行的元素来降维（轴0），可以在调用函数时指定axis=0。 由于输入矩阵沿0轴降维以生成输出向量，因此输入轴0的维数在输出形状中消失。

import torch

A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
print(A)
# tensor([[ 0.,  1.,  2.,  3.],
#         [ 4.,  5.,  6.,  7.],
#         [ 8.,  9., 10., 11.],
#         [12., 13., 14., 15.],
#         [16., 17., 18., 19.]])

A_sum_axis0 = A.sum(axis=0)
print(A_sum_axis0)
# tensor([40., 45., 50., 55.])

A_sum_axis0 = A.sum(axis=1)
print(A_sum_axis0)
# tensor([ 6., 22., 38., 54., 70.])

沿着行和列对矩阵求和，等价于对矩阵的所有元素进行求和。

import torch

A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
print(A)
# tensor([[ 0.,  1.,  2.,  3.],
#         [ 4.,  5.,  6.,  7.],
#         [ 8.,  9., 10., 11.],
#         [12., 13., 14., 15.],
#         [16., 17., 18., 19.]])

print(A.sum(axis=[0, 1]))
# tensor(190.)

平均值通过将总和除以元素总数来计算平均值。 

import torch

A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
print(A)
# tensor([[ 0.,  1.,  2.,  3.],
#         [ 4.,  5.,  6.,  7.],
#         [ 8.,  9., 10., 11.],
#         [12., 13., 14., 15.],
#         [16., 17., 18., 19.]])

print(A.mean())
# tensor(9.5000)

print(A.sum() / A.numel())
# tensor(9.5000)

计算平均值的函数也可以沿指定轴降低张量的维度。

import torch

A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
print(A)
# tensor([[ 0.,  1.,  2.,  3.],
#         [ 4.,  5.,  6.,  7.],
#         [ 8.,  9., 10., 11.],
#         [12., 13., 14., 15.],
#         [16., 17., 18., 19.]])

print(A.mean(axis=0))
# tensor([ 8.,  9., 10., 11.])

print(A.sum(axis=0) / A.shape[0])
# tensor([ 8.,  9., 10., 11.])

4、非降维求和

有时在调用函数来计算总和或均值时保持轴数不变会很有用。

import torch

A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
print(A)
# tensor([[ 0.,  1.,  2.,  3.],
#         [ 4.,  5.,  6.,  7.],
#         [ 8.,  9., 10., 11.],
#         [12., 13., 14., 15.],
#         [16., 17., 18., 19.]])

sum_A = A.sum(axis=1, keepdims=True)

print(sum_A)
# tensor([[ 6.],
#         [22.],
#         [38.],
#         [54.],
#         [70.]])

由于sum_A在对每行进行求和后仍保持两个轴，可以通过广播将A除以sum_A。

import torch

A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
print(A)
# tensor([[ 0.,  1.,  2.,  3.],
#         [ 4.,  5.,  6.,  7.],
#         [ 8.,  9., 10., 11.],
#         [12., 13., 14., 15.],
#         [16., 17., 18., 19.]])

sum_A = A.sum(axis=1, keepdims=True)
# tensor([[ 6.],
#         [22.],
#         [38.],
#         [54.],
#         [70.]])

print(A / sum_A)
# tensor([[0.0000, 0.1667, 0.3333, 0.5000],
#         [0.1818, 0.2273, 0.2727, 0.3182],
#         [0.2105, 0.2368, 0.2632, 0.2895],
#         [0.2222, 0.2407, 0.2593, 0.2778],
#         [0.2286, 0.2429, 0.2571, 0.2714]])

沿某个轴计算A元素的累积总和， 比如axis=0（按行计算），可以调用cumsum函数。 此函数不会沿任何轴降低输入张量的维度。

import torch

A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
print(A)
# tensor([[ 0.,  1.,  2.,  3.],
#         [ 4.,  5.,  6.,  7.],
#         [ 8.,  9., 10., 11.],
#         [12., 13., 14., 15.],
#         [16., 17., 18., 19.]])

print(A.cumsum(axis=0))
# tensor([[ 0.,  1.,  2.,  3.],
#         [ 4.,  6.,  8., 10.],
#         [12., 15., 18., 21.],
#         [24., 28., 32., 36.],
#         [40., 45., 50., 55.]])

5、点积

torch.dot(x,y) 点积是两个向量相同位置的按元素乘积的和。

import torch

x = torch.arange(4, dtype=torch.float32)
print(x)
# tensor([0., 1., 2., 3.])

y = torch.ones(4, dtype = torch.float32)
print(y)
# tensor([1., 1., 1., 1.])

print(torch.dot(x, y))
# tensor(6.)

也可以通过执行按元素乘法，然后进行求和来表示两个向量的点积。

import torch

x = torch.arange(4, dtype=torch.float32)
print(x)
# tensor([0., 1., 2., 3.])

y = torch.ones(4, dtype = torch.float32)
print(y)
# tensor([1., 1., 1., 1.])

print(torch.sum(x * y))
# tensor(6.)

6、矩阵-向量积

将矩阵A用它的行向量表示

每个ai⊤都是行向量，表示矩阵的第i行。

import torch

A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
print(A)
# tensor([[ 0.,  1.,  2.,  3.],
#         [ 4.,  5.,  6.,  7.],
#         [ 8.,  9., 10., 11.],
#         [12., 13., 14., 15.],
#         [16., 17., 18., 19.]])

x = torch.arange(4, dtype=torch.float32)
print(x)
# tensor([0., 1., 2., 3.])

print(torch.mv(A, x))
# tensor([ 14.,  38.,  62.,  86., 110.])

7、矩阵-矩阵乘法

ai行向量， bj列向量。

import torch

A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
print(A)
# tensor([[ 0.,  1.,  2.,  3.],
#         [ 4.,  5.,  6.,  7.],
#         [ 8.,  9., 10., 11.],
#         [12., 13., 14., 15.],
#         [16., 17., 18., 19.]])

B = torch.ones(4, 3)
print(B)
# tensor([[1., 1., 1.],
#         [1., 1., 1.],
#         [1., 1., 1.],
#         [1., 1., 1.]])

print(torch.mm(A, B))
# tensor([[ 6.,  6.,  6.],
#         [22., 22., 22.],
#         [38., 38., 38.],
#         [54., 54., 54.],
#         [70., 70., 70.]])

8、范数

向量的范数是表示一个向量有多大。这里考虑的大小（size）概念不涉及维度，而是分量的大小。

向量范数是将向量映射到标量的函数f。

给定任意向量X，向量范数要满足一些属性。

第一个性质是：如果我们按常数因子a缩放向量的所有元素， 其范数也会按相同常数因子的绝对值缩放：

第二个性质是熟悉的三角不等式:

第三个性质简单地说范数必须是非负的:

L2范数是向量元素平方和的平方根（向量）

import torch

u = torch.tensor([3.0, -4.0])
print(torch.norm(u))
# tensor(5.)

L1范数是向量元素的绝对值

import torch

u = torch.tensor([3.0, -4.0])
print(torch.abs(u).sum())
# tensor(7.)

Lp一般范数

Frobenius范数是矩阵元素平方和的平方根（矩阵的L2范数）

import torch

z = torch.ones((4, 9))
# tensor([[1., 1., 1., 1., 1., 1., 1., 1., 1.],
#         [1., 1., 1., 1., 1., 1., 1., 1., 1.],
#         [1., 1., 1., 1., 1., 1., 1., 1., 1.],
#         [1., 1., 1., 1., 1., 1., 1., 1., 1.]])

print(torch.norm(z))
# tensor(6.)
# (9*4)^(1/2)

范数和目标

在深度学习中，我们经常试图解决优化问题： 

  • 最大化分配给观测数据的概率; 
  • 最小化预测和真实观测之间的距离。

用向量表示物品（如单词、产品或新闻文章），以便最小化相似项目之间的距离，最大化不同项目之间的距离。

目标是深度学习算法最重要的组成部分（除了数据），通常被表达为范数。

南宫凝忆
关注
  • 18
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据分析+机器学习实战+线性代数+PyTorch.zip
06-22
数据分析+机器学习实战+线性代数+PyTorch.zip数据分析+机器学习实战+线性代数+PyTorch.zip数据分析+机器学习实战+线性代数+PyTorch.zip数据分析+机器学习实战+线性代数+PyTorch.zip数据分析+机器学习实战+线性代数+...
pytorch中的线性代数
PBemmm的博客
07-23 549
pytorch中的线性代数
深度学习基础12（softmax回归学前需知）
FLR的博客
03-28 1005
softmax回归 分类问题：不是问“多少”，而是问“哪一个”： 某个图像描绘的是驴、狗、猫、还是鸡？ 某人接下来最有可能看哪部电影？ 通常，机器学习实践者用分类这个词来描述两个有微妙差别的问题： 我们只对样本的“硬性”类别感兴趣，即属于哪个类别； 我们希望得到“软性”类别，即得到属于每个类别的概率。 这两者的界限往往很模糊。其中的一个原因是：即使我们只关心硬类别，我们仍然使用软类别的模型。 ​ 分类问题 我们从一个图像分类问题开始。 假设每次输入是一个2×2的灰度图像。 我们可以用一个标量
动手学深度学习2.3线性代数-笔记&练习详解（PyTorch）-Jupyter源代码
04-01
动手学深度学习2.3线性代数-笔记&练习详解（PyTorch）-Jupyter源代码
数据分析+机器学习实战+线性代数+PyTorch+NLTK+TF2
06-18
# bigdata_analyse 该 repo 是本人实践过的数据分析项目集合，每个项目都会包含一个友好的说明文档，用来阐述和展示整个开发流程，同时也会提供相关的数据集，以供下载练习。 ## wish 采用不同的技术栈，通过对...
01.概述、线性代数和NDArray.pptx
07-25
线性代数是深度学习的基础，尤其是在处理高维数据时。线性代数主要研究向量、矩阵、张量等数学对象以及它们之间的运算关系。在深度学习中，线性代数用于构建神经网络的数学模型，理解和计算权重矩阵、梯度和矩阵乘法...
AiLearning：数据分析+机器学习实战+线性代数+PyTorch+NLTK+TF2.zip
08-25
本资源包"AiLearning：数据分析+机器学习实战+线性代数+PyTorch+NLTK+TF2.zip"提供了丰富的学习材料，旨在帮助你深入理解和应用这些关键技术。 首先，让我们关注"数据分析"这一领域。数据分析是通过收集、清洗、...
动手学深度学习6.3 填充和步幅-笔记&练习（PyTorch）
scdifsn的博客
07-16 695
李沐老师《动手学深度学习（PyTorch版）》6.3 填充和步幅-笔记&练习详解
注意力机制中三种掩码技术详解和Pytorch实现
deephub
07-16 4059
最后我们来做个总结，在自然语言处理和其他序列处理任务中，使用不同类型的掩码来管理和优化模型处理信息的方式是非常关键的。这些掩码主要包括填充掩码、序列掩码和前瞻掩码，每种掩码都有其特定的使用场景和目的。填充掩码（Padding Mask）：-目的：确保模型在处理填充的输入数据时不会将这些无关的数据当作有效信息处理。应用：主要用于处理因数据长度不一致而进行的填充操作，在模型的输入层或注意力机制中忽略这些填充数据。功能：帮助模型集中于实际的、有效的输入数据，避免因为处理无意义的填充数据而导致的性能下降。
架构以及架构中的组件
qq_45858803的博客
07-18 209
这篇博客主要记录文献中出现的架构，以及组成架构的组件
解决RuntimeError: Couldn‘t load custom C++ ops. This can happen if your PyTorch
DZY的博客
07-15 415
刚下好yolov8的代码，想测一下能否成果，果然没成功，报错如下简单来说就是torchvision和torch不匹配，就很离谱，我照着版本对应关系pip install的啊，怎么会不匹配建议先看看你的版本我是下图红框这个首先确定自己torch没问题，因为我的3090这个卡目前cuda版本是11.1，这个whl是早就下好的，一般1-2G，有问题重新下就麻烦了然后我pip install了很多次torchvision==0.11.3，都没啥用。想试着改改版本，结果要下其他的torch版本，就更不可能了。
Integrated Gradients （Pytorch）refs
Sarah ~
07-15 270
2)usage : https://blog.paperspace.com/model-interpretability-and-understanding-for-pytorch-using-captum/ https://captum.ai/docs/extension/integrated_gradients 3)https://github.com/TianhongDai/integrated-gradient-pytorch
early-stopping pytorch refs
Sarah ~
07-15 311
1)https://github.com/Bjarten/early-stopping-pytorch/blob/master/MNIST_Early_Stopping_example.ipynb 2)https://machinelearningmastery.com/managing-a-pytorch-training-process-with-checkpoints-and-early-stopping/ 3)https://pytorch.org/ignite/generated/ignite.h
【Week-G4】手势图像生成（CGAN）- PyTorch【使用生成好的生成器生成指定手势】
qq_40724911的博客
07-18 420
本文环境：系统环境：语言：Python3.7.8编译器：VSCode深度学习框架：torch 1.13.1是否GPU训练：CPU本周代码基本和G3周一致，个别地方有修改：（2）绘制Loss图（3）选择训练好的epoch=300时的生成器模型来生成手势（4）数据集可视化部分选择显示第一个批次的图片训练持续时间：7.17日23:00-7月18日08:12，耗时9h12min。
PyTorch 深度学习实践-处理多维特征的输入
m0_52695557的博客
07-18 256
​ 3、该神经网络共3层；第一层是8维到6维的非线性空间变换，第二层是6维到4维的非线性空间变换，第三层是4维到1维的非线性空间变换。可以自己随意在Model类中改torch.nn.Linear的变换，尝试后发现激活函数改成ReLU比sigmod最后得到的精确率高一些。说明：1、乘的权重(w)都一样，加的偏置(b)也一样。神经网络的参数w和b是网络需要学习的，其他是已知的。​ 4、本算法中torch.nn.Sigmoid() # 将其看作是网络的一层，而不是简单的函数使用。
pytorch说明
2302_80644606的博客
07-10 1462
自动求导机制，扩展torch，CUDA语义，多进程，序列化的笔记总结
图解PyTorch中的Transpose操作
记录与分享
07-15 260
简单来说，就是将参与转置的维度抽出来，将内侧的子张量视为一个元素；这样，抽出来的两个维度便是正常的二维矩阵，此时便容易理解了。转置完成后，恢复原样即可。在PyTorch中，我们时常会对张量进行转置操作。
PyTorch 深度学习实践-卷积神经网络基础篇
m0_52695557的博客
07-18 800
(batch, 1, 28, 28) ->卷积(1, 10, 5)->(10, 24, 24) ->下采样2->(10, 12, 12)->卷积(10, 20, 5)->(20, 8, 8)->下采样2->(20, 4, 4)->卷积(20, 10, 5, padding=2) ->(10, 4 ,4)->下采样(10,2,2)摊平view(batch_size, -1)->l1(40, 32)->l2(32, 16)->l3(16, 10)卷积层用三个，relu三个，池化三个，线性层三个，对比性能。
PyTorch中的batch_size和num_workers
最新发布
summerriver1的博客
07-18 127
PyTorch中的batch_size和num_workers
PyTorch 深度学习实践-循环神经网络基础篇
m0_52695557的博客
07-18 631
嵌入层的主要作用是将离散的词汇映射到连续的向量空间中，从而为RNN提供密集的、低维的输入表示，这比直接使用稀疏的one-hot编码更为高效。，但是这个线性层是共享的，如下图，每次把hi和xi+1计算得到的hi+1传送到下一层进行计算，同时xi+1还需要通过某种运算融合xi的信息（比如求和、求乘积等）h0是先验知识，比如对于图像生成文本，可以先通过cnn+fc生成h0，也可以把h0设成和h1等统一维度的向量，值都设成0。多头注意力机制是自注意力的扩展，它通过多个注意力头（head）来捕获不同的特征子空间。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值