欢迎大家一起交流学习！

对VAE和GAN的模型结构和代码实现，及其数据表示。此外包含VAE和GAN的对应的优化目标和损失函数的原理和实现

ControlNet训练代码解析

在实际场景中，训练集和测试集往往存在分布差异，导致模型不work。领域自适应是解决这类问题的一种方法，但是它需要测试数据的一些先验知识。但是很多时候，在测试数据到来前我们往往对它们是一无所知的，因此近年来很多人开始考虑一种更有实际意义的研究场景，也就是领域泛化。

Transformer学习。

kaggle入门

1.权重衰退通过L2正则项使得模型参数不会过大，从而控制模型复杂度2.正则项权重lamda是控制模型复杂度的超参数。

这里使用了一些常见的损失函数，损失和nn.L1Loss(reduction=“sum”)、损失平均nn.L1Loss(reduction=“mean”)、差的平方求和再去平均nn.MSELoss()、交叉熵nn.CrossEntropyLoss()本层就是一个线性的拟合，其中输入的为输入维度和输出维度，最终训练的是直线（线性）的斜率k和截距b。3.对于神经网络中的参数修改需要使用优化器，以达到损失减少的目的，本例使用的为梯度下降法。损失函数作用：计算实际输出和目标输出之间的差距，为我们更新输出一定的依据。

李沐深度学习

李沐深度学习

李沐深度学习

小土堆Pytorch学习笔记