pytorch教程龙曲良31-35

最新推荐文章于 2021-08-18 23:00:33 发布
最新推荐文章于 2021-08-18 23:00:33 发布
阅读量213 收藏 1
点赞数
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sueong/article/details/116763589
版权
本文深入探讨了激活函数softmax在多分类问题中的作用，强调其拉大类间差距的能力。同时，详细介绍了单层感知机的梯度推导过程，以及在损失函数(loss)上的应用，通过链式法则进行参数更新以逼近期望的输出。此外，解释了在反向传播中，只有当节点匹配时(loss对w的偏导)才会对误差有影响。最后，讨论了多层感知机(MLP)的反向传播原理，它是深度学习模型训练的关键步骤。
摘要由CSDN通过智能技术生成

31激活函数与Loss的梯度3

softmax
概率0-1，且所有所属结点的概率和为1，用softmax适合多分类，且把之间的差距拉大，本来2.0与1.0差两倍，现在0.7与0.2差3.5倍

在这里插入图片描述
求的是pi对aj的偏导，当i=j
在这里插入图片描述
i!=j
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

32感知机的梯度推导1

在这里插入图片描述
x上标0下标n，上标0表示第0层，下标n表示第n个x
w上标1下标ij，上标1表示第一层i表示连接上一层的xi，下标j表示连接本层的j号结点
x上标1下标0，上标1表示第1层的，下标0表示第0号结点，激活后变O
O上标1下标0，上标1表示第1层的，下标0表示第0号结点
因为是单层感知机，所以O只有一个

上标表示层号，下标表示本层的结点序号
loss=求和(O-t)**2 即（pred-y）**2

在这里插入图片描述

链式法则
在这里插入图片描述
单层感知机在这里插入图片描述
例子采用10号结点的输入
这里先求出loss对w的梯度
之后可以利用公式w’=w-lr*loss对w的梯度不断更新w使得xw趋近期望的y
在这里插入图片描述

33感知机的梯度推导2

共有N*M次连接
Wjk就是本层j号结点到k号结点的连接

在这里插入图片描述
对loss（error）对wjk的求导当j=k的时候才对E对wjk的求导有影响，j!=k没有影响都是0，所以可以把求和符号去掉
在这里插入图片描述
这条边上的权值输出关系只和这条边上的输入结点xj^0 和输出结点Ok^1 有关（这里多看几遍）
在这里插入图片描述
在这里插入图片描述

34链式法则

在这里插入图片描述
链式法则在这里插入图片描述
像跳板一样，逐一相乘再求解

在这里插入图片描述

35MLP反向传播

（多看几遍）

在这里插入图片描述
多层感知机在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

sueong
关注
专栏目录
PyTorch深度学习框架----龙良曲
cumtchw
04-21 727
课时一：深度学习框架简介 Google：tenflow facebook:caffe potorch 课时二：pytorch功能演示 课时三：开发环境准备 安装完毕 课时四：简单回归问题 课时五：简单回归问题2 课时6：回归问题实战 未开始 ...
深度学习pytorch龙良曲配套课程课件和代码
02-03
配合《Deep-Learning-with-PyTorch-Tutorials》这个压缩包中的教程，学习者可以一步步跟随代码实现上述各个主题，同时结合课件内容，理解每个步骤背后的理论依据。课程视频链接提供了更为直观的教学辅助，帮助学习者...
bilibili_回归问题实战（第六课） 深度学习与PyTorch入门实战_龙良曲 .rar
06-20
深度学习与PyTorch入门实战_龙良曲 bilibili_回归问题实战（第六课） 1 data.csv 用于回归的数据数据 2 gd.py 回归实战运行代码 3 lesseon4.pdf 课件
pytorch教程龙曲良01-05
sueong的博客
05-08 736
01深度学习框架与介绍 pytorch优势 1使用gpu加速 # -*- codeing = utf-8 -*- # @Time :2021/5/6 20:51 # @Author:sueong # @File:grad.py # @Software:PyCharm import torch import time print(torch.__version__) print(torch.cuda.is_available()) a=torch.randn(10000,1000)#a矩阵 b=torch
pytorch教程龙曲良06-10
sueong的博客
05-09 489
06手写数字识别1 每张图片2828 针对y=wx+b 对于手写数字图片来说可以用灰度0-1表示，所以就是2828值在0-1的矩阵，然后打平变成784的向量 y的维度怎么表示 法1先讨论H1，H2，H3的维度，以下都表示维度，Hi不断作为Hi+1的一个输入，如[1,784]表示一行784列，但这样h1，h2…h9存在大小关系，没有相关性 ， 07手写数字识别02 法2用one-hot去表示概率， 1=[0,1,0,0,0,0,0,0,0,0] 3=[0,0,0,1,0,0,0,0,0,0] 求loss
pytorch教程龙曲良46-55
sueong的博客
05-17 360
46交叉验证2 只能用val set反馈去调整参数，看到test acc 不该做任何事情，如果反馈去调整参数泛化能力会变弱 k-fold cross-validation 如果按照原来的划分是50k -train 10k-val 10k-test，因为test肯定不能反馈回去，所以我们要利用10k的val，可以先和50ktrain+10kval train一次，然后60k的数据再划分中间某10k为val（如图黄色部分），这样确保60k的数据都可以是train，每次切换train，既防止死记硬背又防止数据没有
pytorch教程龙曲良41-45
sueong的博客
05-16 285
41激活函数与GPU加速 sigmoid /Tanh 会出现梯度离散问题，就是梯度为0（导数为0） relu 在x=0处不连续，x小于0时梯度为0，x大于0梯度为1不变，利于串行的传播，这样就不会出现梯度爆炸或梯度离散的情况 relu x小于0时梯度为0，为解决这个在x小于0部分 设置了y=a*x，使得有一定的梯度a而不是0，斜角一般默认0.02的样子 selu=relu+指数函数，使得在x=0出也有平滑的曲线变得连续。 softplus， 是relu在x=0做个平滑的曲线使得其在附近连续 gpu加
pytorch学习笔记（一）
01-06
pytorch中文教程 tensor tensor是pytorch的最基本数据类型，相当于numpy中的ndarray，并且属性和numpy相似，tensor可在GPU上进行运算。 tensor常见的基本属性： 1.创建tensor 通常此类方法都有以下属性，特别注意，...
龙曲良pytorch手写数字
最新发布
08-21
- *1* *2* *3* [pytorch教程龙曲良06-10](https://blog.csdn.net/sueong/article/details/116544152)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_...
PyTorch 学习资源（代码类）
07-24
本资源包“Deep-Learning-with-PyTorch-Tutorials-master”正是针对PyTorch的代码类教程，共分为10个章节，旨在帮助初学者和进阶者深入理解PyTorch的使用方法，提升在实际项目中的应用能力。 一、基础篇 1. PyTorch...
pytorch学习视频百度网盘链接.txt
02-23
pytorch学习视频，2.5个G。包括 深度学习初见/ 开发环境安装/ 回归问题/ pytorch基础教程/ pytorch进阶教程/ 随机梯度下降/ 神经网络与全连接层/ 过拟合/ 卷积神经网络CNN/ CIFAR10与resnet实战/ 循环神经网络RNN&lstm/
pytorch教程龙曲良36-40
sueong的博客
05-14 388
36函数极小值优化实战 四个解都是0所以都是全局最小值 PLOT #最小值0取的值（x,y）是（3,2）x初始化是0 #最小值0取的值（x,y）是（3.584428，-1.8484=126）x初始化是4 import os os.environ['KMP_DUPLICATE_LIB_OK'] = 'TRUE' import torch import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d impo
pytorch教程龙曲良21-25
sueong的博客
05-13 294
21合并与分割2 split 按照长度/单元长度拆分 c的shape是[2,32,8] aa,bb=c.split(1,dim=0)#操作单元是在0维度上操作，拆分单元长度是1 aa,bb=c.split(2,dim=0)#报错 dim=0长度才是2，但是拆分长度要求2，拆不开，split必须拆分 c的shape是[3,32,8] aa,bb=c.split([2,1],dim=0)#操作单元是在0维度上操作，拆分单元长度是2和1 import torch a=torch.rand(32,8
pytorch教程龙曲良11-15
sueong的博客
05-11 364
11创建tensor02 randn一般是均值为0，方差为1的正态分布N(0,1)，也可以自定义N(u,std)用torch.normal torch.normal(mean=torch.full([10],0),std=torch.arange(1,0,-0.1)) #比如先把一个2*5的矩阵打平变成1*10，然后normal后再reshape为2*5 #torch.full先构建一个一维长度为10全是0的tensor，这样他们的mean就都是0 #torch.arange使得标准差std分布为[1,0.
pytorch教程龙曲良16-20
sueong的博客
05-12 343
17维度变换4 .t 转置，但是只适合2d的矩阵，其他会报错 a.shape#[3,4] a.t() a.shape#[4,3] transpose 加粗样式
pytorch教程龙曲良26-30
sueong的博客
05-13 234
26什么是梯度1 导数（在给定方向的变化量）和偏微分（在给定的自变量上的变化量）都是标量,只有大小没有方向 梯度就是所有偏微分的向量，有方向有大小 函数梯度是一个向量，向量方向表示这个函数在当前点的一个增长方向，向量的模/长度表示增长速率 这里的a是lr，这里初始化（0,0）刚好取到极小值 当lr太大的话会更新太快跳到箭头所指的地方，显然不是我们想要的情况 27什么是梯度2 总是有z1>z2，就是凸函数（碗一样），可以找到全局最优解，但是这种情况在现实中不常见 存在多个局部最小值 res
深度学习与PyTorch入门实战教程
01-30
亚洲排名第1的新加坡国立大学AI团队倾情打造，资深研究员龙龙老师主讲，帮助人工智能、深度学习初学者快速、深刻理解深度学习算法原理与实践。【莫烦老师】权威推荐：在教学中，龙龙老师以简短高效的方式，从深度学习的多个角度向我们展开了论述，非常适合想对深度学习有全方位了解的朋友。【PyTorch中文网】：讲解简单易懂、由浅入深，是一门值得推荐的课程。课程特色：1. 通俗易懂，快速入门对深度学习算法追本溯源、循序渐进式讲解，学员不需要任何机器学习基础，只需要写过代码即可轻松上手。2. 实用主导，简单高效使用新手最容易掌握的深度学习框架PyTorch实战，比起使用TensorFlow的课程难度降低了约50%，而且PyTorch是业界最灵活，最受好评的框架。3. 案例为师，实战护航基于计算机视觉和NLP领域的经典数据集，从零开始结合PyTorch与深度学习算法完成多个案例实战。4. 持续更新，永久有效一次购买，永久有效。深度学习课程会持续更新下去，内容和学术界最前沿算法保持同步。
龙曲良版本的pytorch学习
aliuxuwhy的博客
08-18 1002
1 权重参数的更新（Optimer.step()） ：根据上述计算的梯度值，不断进行权重参数得更新 参数优化目的：不断更新权重参数，使得损失值达到最小。 参数优化的方法：权重参数=权重参数-权重参数梯度学习率 损失值计算的方法：给定参数计算损失值； loss = inputw.t() +b – target 的平方 例子： 求 y=wx+b的参数，给100个点( x , y )； 解法：我们已知(x,y)的N个点，此时我们定义的损失函数如上所示，不断更新权重参数W和B，使得总损失值最小（根据已知的x,
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值