PyTorch自用笔记（第三周-进阶篇）

最新推荐文章于 2023-06-06 17:44:03 发布
最新推荐文章于 2023-06-06 17:44:03 发布
阅读量145 收藏
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41882866/article/details/107588940
版权

PyTorch进阶

五、进阶操作

5.1 合并与分割

cat-合并

在这里插入图片描述

stack-创建新维度

在这里插入图片描述
注：原shape必须一样

split-by len

参数是长度
在这里插入图片描述

chunk-by num

参数是数量
在这里插入图片描述

5.2 数学运算

basic- + - * /

在这里插入图片描述

matmul-矩阵相乘

torch.mm：只适用2d矩阵，不推荐适用
在这里插入图片描述
2维以上的矩阵相乘时
在这里插入图片描述

power-幂次运算

在这里插入图片描述

log exp

在这里插入图片描述

approximation-求近似

在这里插入图片描述

clamp-裁剪

在这里插入图片描述

5.3 属性统计

norm-范数

在这里插入图片描述

min;max;mean;prod-最小；最大；均值；累乘

在这里插入图片描述
在这里插入图片描述
注：参数表示返回某一维度上的最大或最小值

dim;keepdim

在这里插入图片描述

topk-前k个

在这里插入图片描述

kthvalue-第k小的值

在这里插入图片描述

compare

在这里插入图片描述

5.4 高阶操作

where

在这里插入图片描述

gather

torch.gather(input, dim, index, out=None)->Tensor
在这里插入图片描述

六、随机梯度下降

6.1 梯度

导数derivate：标量
偏微分partial derivate：多元；标量
梯度gradient：偏微分的向量
梯度下降法可参考机器学习-吴恩达（第一周）
鞍点：在某一点取得一个维度的局部极大值而在另一维度取得局部极小值

影响优化器的因素：
1.局部极小值
2.鞍点
3.初始状态
4.学习率
5.动量-逃离局部最小值

6.2 常见函数的梯度

导数表：
在这里插入图片描述

6.3 激活函数及其梯度

激活函数可参考李飞飞计算机视觉-自用笔记（第二周）

sigmoid

在这里插入图片描述

tanh

tanh(x) = 2sigmoid(2x) - 1
在这里插入图片描述

ReLU

在这里插入图片描述

6.4 loss及其梯度

mean squared error:均方差

在这里插入图片描述

梯度：

在这里插入图片描述
求梯度：
在这里插入图片描述

loss.backward

在这里插入图片描述

softmax

在这里插入图片描述
注：除了可以得到概率结果这个属性外，还起到空间放缩的作用
导数：
在这里插入图片描述
代码实现：
在这里插入图片描述

6.5 感知机

对于xli：l表示层编号，i表示节点编号
对于wlij：l表示层编号，i表示上一层节点编号，j表示本层节点编号
求导：
在这里插入图片描述
单层感知机梯度推导代码实现：
在这里插入图片描述
多层感知机
在这里插入图片描述
代码实现：
在这里插入图片描述

6.6 反向传播算法

可参考机器学习-吴恩达（第三周）与李飞飞计算机视觉-自用笔记（第二周）

6.7 2D函数优化实例

f(x, y) = (x2 + y -11)2 + (x + y2 - 7)2
此函数的图像及极小值点：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

代号06009
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PyTorch自用笔记（第二周-基础篇）
qq_41882866的博客
07-24 173
PyTorch基础一、基本数据类型-张量二、创建Tensor 一、基本数据类型-张量 Python与PyTorch中基本数据类型的对比 string在PyTorch中的表示方式有两种： 1.One-hot编码[0, 1, 0, 0, …]，但该方式不能体现词与词之间的相关性 2.Embedding（略） 常用内建数据类型： CPU GPU torch.FloatTensor torch.cuda.FloatTensor torch.IntTensor torch.cuda.IntTen
纽约大学深度学习PyTorch课程笔记（自用）Week2
weixin_43589205的博客
08-15 187
纽约大学深度学习PyTorch课程笔记
DiffPool 笔记 自用
qq_40515250的博客
04-21 2333
DiffPool 笔记 自用DiffPool 可微池化的层次图表示学习相关概念背景堆叠GNNs和pooling层Diff pool正则化实验 DiffPool 可微池化的层次图表示学习 转载： 版权声明：本文为CSDN博主「不务正业的土豆」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/yyl424525/article/details/103307795 Hierarchical Graph Representati
第六周学习总结
qq_41882866的博客
07-31 118
第六周学习总结 PyTorch：本周继续学习了基本操作，包括tensor的合并与分割、数学运算、属性统计等；另外复习了随机梯度下降算法，并通过一个demo实现了自动求梯度和反向传播；此外还实现了一个2D函数的模型构建与优化。 PyTorch自用笔记（第三周-进阶篇） 计算机视觉：本周学习了一些CNN框架，包括LeNet-5、AlexNet、VGGNet、GoogLeNet、ResNet、DenseNet等，了解了主流框架的基本结构和主要特点。李飞飞计算机视觉-自用笔记（第四周） ...
通俗易懂的LLM（上篇）
热门推荐
qq_39439006的博客
06-06 1万+
2022年年底OpenAI发布ChatGPT，将LLM（Large Language Model）带向了一个新的高度，而2023年OpenAI继续放出大招：更强大的GPT-4问世，引爆了整个互联网圈。在这个大模型时代，作为一名NLPer，持续吸收着层出不穷的新技术，确实有些吃不消。俗话说，好记性不如烂笔头，在此记录下LLM相关技术及进展。顺便说一句，你可以说它不全面，但不能说它不通俗易懂。GPT系列模型详解【LLM系列-01】Language Models are Few-Shot Learners。
《HelloGitHub》第 47 期
HelloGitHub 的博客
02-29 770
兴趣是最好的老师，HelloGitHub 就是帮你找到兴趣！简介 分享 GitHub 上有趣、入门级的开源项目。这是一个面向编程新手、热爱编程、对开源社区感兴趣 人群的月刊，月刊的内容包...
MVSNet-pytorch版 源码 MVSNet-pytorch-master
08-27
MVSNet_pytorch版 源码 MVSNet_pytorch-master MVSNet_pytorch版 源码 MVSNet_pytorch-master MVSNet_pytorch版 源码 MVSNet_pytorch-master MVSNet_pytorch版 源码 MVSNet_pytorch-masterMVSNet_pytorch版 源码 ...
pytorch-CycleGAN-and-pix2pix-master
04-25
pytorch-CycleGAN-and-pix2pix-master的一个代码
pytorch-gradual-warmup-lr：PyTorch的逐步预热学习速率调度程序
02-05
pytorch渐进热身lr pytorch优化器的逐步热身（增加）学习率。 在“准确，大型的小批量SGD：1小时内培训ImageNet”中提出。 示例：逐步预热100个时间段，然后使用余弦退火。 安装 $ pip install git+...
lstm-crf-pytorch:PyTorch中的LSTM-CRF
05-24
PyTorch中的LSTM-CRF 用于序列标记的双向LSTM-CRF的最小PyTorch（1.7.1）实现。 支持的功能： CUDA的小批量培训嵌入层中的查找，CNN，RNN和/或自我关注分层递归编码（HRE） 条件随机场（CRF）的PyTorch实现CRF损失的...
a-PyTorch-Tutorial-to-Image-Captioning-master_pytorch_
09-30
讲解如何入门PyTorch，包括基础原理知识、numpy与PyTorch的区别以及案例研究实例
paper reading(2)-HOTR: End-to-End Human-Object Interaction Detection with Transformers
qq_41882866的博客
05-12 1159
注：该文章取自CVPR2021 源码： Abstract 首先介绍了一下HOI任务：检测人与物体交互关系的任务，包含 i)定位交互的主体和客体 ii)交互标签的分类 大多数现有的方法是通过检测人和对象，分别推断每一对直接的关系，但这种方法是间接地解决问题。 本文提出了HOTR框架，基于transformer的encoder-decoder结构直接预测（人，物体，交互）的三元组集合。这种预测集合的方法，有效地利用了内部语义关系，节约了时间成本。 1. Introduction 先前解决HOI的方法是，先进行对
PyTorch自用笔记（第六周-实战2）
qq_41882866的博客
08-21 757
PyTorch自用笔记（第六周）十一、循环神经网络RNN&LSTM11.1 时间序列表示方法11.2 RNN 十一、循环神经网络RNN&LSTM 11.1 时间序列表示方法 [seq_len, feature_len]：[序列长度, 特征长度/维度/表示方法] 文本信息： 1.one-hot编码： 特定的位置编码为1，其余为0 缺点：稀疏 2.[words, words_vec] Batch： [word num, b, word vec] [b, word num, word vec] 编
paper reading(1)-Meta Batch-Instance Normalization for Generalizable Person Re-Identification
qq_41882866的博客
05-06 676
注：该文章取自CVPR2021 源码：https://github.com/bismex/MetaBIN Abstract 有监督的person re-id方法已经具有良好性能，但对于不可见的域，泛化能力较弱。 许多现有的方法采用instance normalization(实例正则化，消除风格)，但instance normalization会丢失关键的判别信息。 本文提出的MetaBIN方法main idea：通过元学习的pipeline预先模拟不成功的泛化场景（Under-style-normaliz
PyTorch自用笔记（第四周）
qq_41882866的博客
08-07 491
PyTorch自用笔记（第四周）七、神经网络与全连接层7.1 逻辑斯蒂回归7.2交叉熵7.3 多分类问题实战7.4 全连接层 七、神经网络与全连接层 7.1 逻辑斯蒂回归 线性回归回顾：机器学习-吴恩达（第一周）二、模型描述 目标：pred = y 方法：最小化dist(|pred - y|) 逻辑斯蒂回归：机器学习-吴恩达（第二周）六、分类问题 目标：benchmark如精确度 方法1：最小化dist 方法2：最小化divergence 7.2交叉熵 softmax复习： enlarger the lar
李飞飞计算机视觉-自用笔记（第六周）
qq_41882866的博客
08-14 381
李飞飞计算机视觉-自用笔记（六）11 图像分割、定位、检测11.1 语义分割11.2 图像分类+定位11.3 对象识别 11 图像分割、定位、检测 11.1 语义分割 方法1：滑动窗口 问题：效率低下 方法2：全连接卷积网络 问题：计算量太大，耗费内存 方法3：卷积与下采样结合 上采样：按某规则扩充像素 转置卷积：不再是对应元素与卷积核做内积，而是用输入做权重处理卷积核，使输出是带有权重的卷积核的叠加 11.2 图像分类+定位 通常有两个全连接层，其中一个输出类别及得分，另一个输出坐标及图像的长、宽 分别
PyTorch自用笔记（第五周-实战1）
qq_41882866的博客
08-14 355
PyTorch自用笔记（第五周）十、10.1 十、 10.1
前端面试高频知识点（持续更新版）
qq_41882866的博客
07-11 350
前端面试高频知识点（持续更新版）
mvsnet-pytorch版 源码 mvsnet-pytorch-master运行结果
最新发布
11-17
mvsnet-pytorch是一个基于PyTorch框架实现的多视角立体匹配网络。通过该网络，可以对多个视角的输入图像进行立体匹配，从而得到深度图和三维点云数据。mvsnet-pytorch-master是对该网络的源代码进行了整理和更新，使...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值