cdLiang的博客

梯度累加，pytorch实现

pytorch中分布式训练DDP的介绍。包括DDP的原理，一些基础概念，和DP的区别，多卡的启动方式。最后根据voxceleb_trainer实例代码进行简单分析

本文介绍了熵、信息量、交叉熵、KL散度，通俗易懂。并给出pytorch中torch.nn.CrossEntropyLoss，NLLLoss()，torch.nn.KLDivLoss的使用。利用pytorch实现了一个基于标签平滑的KL损失。

常用激活函数总结，relu,glu,gelu,swish等，并且给出pytorch的调用接口，或pytorch的实现

常用优化器总结，SGD，RMSProp，Adam等，包括warmup介绍及代码实现

AI八股文系列，正则化小结

利用python实现一个简单的多层感知机模型，学习拓扑排序在神经网络前向反向传播过程中的应用

在深度学习中，我们经常需要对函数求梯度（gradient）。PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。概念将Tensor的属性.requires_grad设置为True，它将开始追踪在其上的所有操作，完成计算后，可以调用.backward()来完成所有梯度计算。此Tensor的梯度将累积到.grad属性中。如果y.backward()时...

数据操作pytorch中，torch.Tensor是存储和变换数据的重要工具，Tensor和Numpy的多维数组非常相似。但是，Tensor提供GPU计算和自动求梯度等更多功能。"tensor"这个单词一般可译作“张量”，张量可以看作是一个多维数组。标量可以看作是0维张量，向量可以看作1维张量，矩阵可以看作是二维张量。创建Tensor首先，导入pytorch：首先导入PyTorch：...

线性回归的基本内容以房价预测来解释线性回归的基本要素。模型定义设房屋的面积为 x1x_1x1​，房龄为 x2x_2x2​，售出价格为 yyy。我们需要建立基于输入 x1x_1x1​ 和 x2x_2x2​ 来计算输出 yyy 的表达式，也就是模型（model）。y^=x1w1+x2w2+b\hat{y} = x_1 w_1 + x_2 w_2 + by^​=x1​w1​+x2​w2​+b...

不含隐藏状态的神经网络考虑一个含单隐藏层的多层感知机。给定样本数为nnn、输入个数（特征数或特征向量维度）为ddd的小批量数据样本X∈Rn×d\boldsymbol{X} \in \mathbb{R}^{n \times d}X∈Rn×d。设隐藏层的激活函数为ϕ\phiϕ，那么隐藏层的输出H∈Rn×h\boldsymbol{H} \in \mathbb{R}^{n \times h}H∈Rn×h...