深度学习
文章平均质量分 84
Leafing_
这个作者很懒,什么都没留下…
展开
-
深度学习初始化Xavier、Kaiming
深度学习初始化Xavier和Kaiming初始化,He初始化原创 2024-01-08 17:26:41 · 1521 阅读 · 1 评论 -
【扩散模型Diffusion Model系列】0-从VAE开始(隐变量模型、KL散度、最大化似然与AIGC的关系)
VAE,变分自编码器,算是Diffusion Model扩散模型的预热,事实上VAE和Diffusion Model有诸多异同原创 2023-12-18 21:07:31 · 1545 阅读 · 1 评论 -
深度学习优化器Optimizer-SGD、mSGD、AdaGrad、RMSProp、Adam、AdamW
最常用的优化器SGD、mSGD、AdaGrad、RMSProp、Adam、AdamW的介绍和公式,其中AdamW算法是Adam算法的改进,SGD在CNN中还有不错的发挥,但在Transformer中却效果一般,如今Adam和AdamW算法在Transformer模型中有着更为广泛的应用,如Llama、OPT、GPT等,即使还有一些新的如Lion等优化器,但大体上了解以上优化器就足够了。原创 2023-12-16 21:51:18 · 1278 阅读 · 0 评论 -
Pytorch学习(4):Tensor统计、where与gather
文章目录前言一、统计1.范数norm2.max/min/mean/sum/prod3.argmax/argmin/dim/keepdim4.Topk/kthvalue5.比较/eq/equal一、高级操作where/gather1.条件where2.gather总结前言Pytorch学习笔记第四篇,关于Tensor的统计(max、min、mean等)、where、gather。提示:以下是本篇文章正文内容,下面案例可供参考一、统计1.范数norm从目前学习的知识来看,pytorch提供p..原创 2021-02-19 13:07:34 · 776 阅读 · 0 评论 -
Pytorch学习(3):Tensor合并、分割与基本运算
文章目录前言一、合并Cat/Stack1.Cat2.Stack二、分割Split/Chunk1.Split2.Chunk三、基本运算1.加减乘除2.矩阵乘法mm/@/matmul3.幂运算**4.指数exp/对数log5.近似floor/ceil/round/trunc/frac6.裁剪(归化)clamp总结前言Pytorch学习笔记第三篇,关于Tensor的合并(cat/stack)、分割(split/chunk)与基本运算。一、合并Cat/Stack1.CatTensor中cat是co..原创 2021-02-18 19:21:58 · 5157 阅读 · 0 评论 -
Pytorch学习(2):Tensor的维度变换
文章目录前言正文1.view/reshape2.squeeze/unsqueeze4.t/transpose 转置5.permute 任意维交换总结前言Pytorch学习笔记第二篇,关于Tensor的维度变换。正文1.view/reshapeview和reshape的功能一致,在元素总数不变的情况下改变Tensor的形状,并且可以用-1作为缺省,实现对某一维度的自动计算。示例:sample=torch.ones([4,2,3,4])#维度变换#1 view/reshape 打平..原创 2021-02-18 14:05:43 · 759 阅读 · 0 评论 -
Pytorch学习(1):Tensor创建
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、Pytorch与Tensor二、Tensor的多种创建方法1.引入库2.使用numpy创建3.使用List创建4.申请空间&未初始化创建5.随机初始化6.单元素Tensor创建7.等差Tensor创建8.ones/zeros/eye9.randperm随机打乱总结前言 随着人工智能的不断发展,深度学习受到了广泛的追捧,在此,开始记录自己的Pytorch学习笔记,希望可以帮助到自己,可以帮助到大家。本小节为学原创 2021-02-17 19:31:32 · 736 阅读 · 0 评论