![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习总结
文章平均质量分 76
栋次大次
一只平平无奇的小飞猪,努力搬砖。研究方向:语音识别,声纹识别
展开
-
[trick]梯度累加
梯度累加,pytorch实现原创 2022-03-18 15:48:18 · 340 阅读 · 0 评论 -
简单介绍pytorch中分布式训练DDP使用 (结合实例,快速入门)
pytorch中分布式训练DDP的介绍。包括DDP的原理,一些基础概念,和DP的区别,多卡的启动方式。最后根据voxceleb_trainer实例代码进行简单分析原创 2022-03-08 23:06:44 · 9226 阅读 · 13 评论 -
通俗理解交叉熵和KL散度(包括标签平滑的pytorch实现)
本文介绍了熵、信息量、交叉熵、KL散度,通俗易懂。并给出pytorch中torch.nn.CrossEntropyLoss,NLLLoss(),torch.nn.KLDivLoss的使用。利用pytorch实现了一个基于标签平滑的KL损失。原创 2022-02-24 22:24:54 · 3189 阅读 · 4 评论 -
常用激活函数(relu,glu,gelu,swish等)
常用激活函数总结,relu,glu,gelu,swish等,并且给出pytorch的调用接口,或pytorch的实现原创 2022-02-22 16:55:18 · 13761 阅读 · 0 评论 -
pytorch常用优化器总结(包括warmup介绍及代码实现)
常用优化器总结,SGD,RMSProp,Adam等,包括warmup介绍及代码实现原创 2022-02-21 15:58:44 · 6054 阅读 · 0 评论 -
正则化小结
AI八股文系列,正则化小结原创 2022-02-20 20:33:27 · 1476 阅读 · 0 评论 -
利用python手撸一个简单的多层感知机模型
利用python实现一个简单的多层感知机模型,学习拓扑排序在神经网络前向反向传播过程中的应用原创 2021-01-27 18:24:03 · 644 阅读 · 5 评论 -
pytorch 自动求梯度
在深度学习中,我们经常需要对函数求梯度(gradient)。PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图,并执行反向传播。概念将Tensor的属性.requires_grad设置为True,它将开始追踪在其上的所有操作,完成计算后,可以调用.backward()来完成所有梯度计算。此Tensor的梯度将累积到.grad属性中。如果y.backward()时...转载 2020-02-21 21:40:50 · 880 阅读 · 0 评论 -
pytorch 数据操作
数据操作pytorch中,torch.Tensor是存储和变换数据的重要工具,Tensor和Numpy的多维数组非常相似。但是,Tensor提供GPU计算和自动求梯度等更多功能。"tensor"这个单词一般可译作“张量”,张量可以看作是一个多维数组。标量可以看作是0维张量,向量可以看作1维张量,矩阵可以看作是二维张量。创建Tensor首先,导入pytorch:首先导入PyTorch:...转载 2020-02-21 21:13:55 · 1821 阅读 · 0 评论 -
线性回归
线性回归的基本内容以房价预测来解释线性回归的基本要素。模型定义设房屋的面积为 x1x_1x1,房龄为 x2x_2x2,售出价格为 yyy。我们需要建立基于输入 x1x_1x1 和 x2x_2x2 来计算输出 yyy 的表达式,也就是模型(model)。y^=x1w1+x2w2+b\hat{y} = x_1 w_1 + x_2 w_2 + by^=x1w1+x2w2+b...原创 2020-02-20 18:36:20 · 209 阅读 · 0 评论 -
RNN
不含隐藏状态的神经网络考虑一个含单隐藏层的多层感知机。给定样本数为nnn、输入个数(特征数或特征向量维度)为ddd的小批量数据样本X∈Rn×d\boldsymbol{X} \in \mathbb{R}^{n \times d}X∈Rn×d。设隐藏层的激活函数为ϕ\phiϕ,那么隐藏层的输出H∈Rn×h\boldsymbol{H} \in \mathbb{R}^{n \times h}H∈Rn×h...原创 2020-02-20 17:45:13 · 260 阅读 · 0 评论