深度学习笔记
文章平均质量分 92
深度学习笔记系列
刘皮狠
这个作者很懒,什么都没留下…
展开
-
Bilibili视频-对比学习论文综述【论文精读】
Bilibili视频-对比学习论文综述【论文精读】原创 2022-11-29 15:18:42 · 823 阅读 · 0 评论 -
Bilibili视频-知识蒸馏笔记
Bilibili视频-知识蒸馏笔记原创 2022-11-28 18:07:35 · 241 阅读 · 0 评论 -
深度学习笔记之正则化、激活函数、卷积
文章目录一. 正则化(Regularization)1. L1L_1L1、L2L_2L2正则化2. Dropout3. 数据增强4. 提前停止5. 批标准化参考一. 正则化(Regularization)正则化是一类通过限制模型复杂度,从而避免过拟合,提高泛化能力的方法。1. L1L_1L1、L2L_2L2正则化在没有添加正则化项前,我们的损失函数是:J(θ;x,y)J(\theta;x,y)J(θ;x,y)。而添加正则化后,相当于对损失函数引入了惩罚(约束条件),损失函数变为:J^(θ;原创 2022-03-24 21:40:34 · 2495 阅读 · 0 评论 -
深度学习笔记之attention机制、Normalization
文章目录一. Attentionself-attention二. Normalization批标准化(batch normalization)**1. 批标准化的数学计算****2. 批标准化的优点****3. 为什么标准化有效****4. 使用批标准化的注意**layer normalization**1.层标准化的数学计算****2.层标准化与批标准化**参考一. Attention在文本情感分析中,我们对I hate this movie进行分析,如果采用RNN或者CNN,模型的学习机制导致无法关原创 2022-03-23 23:03:02 · 1184 阅读 · 2 评论 -
深度学习笔记之优化算法
文章目录一. 优化算法1.1 基本算法1.1.1 随机梯度下降1.1.2 动量1.1.3 Nesterov动量1.2 自适应学习率算法1.2.1 AdaGrad1.2.2 RMSProp1.2.3 Adam1.3 牛顿法一. 优化算法1.1 基本算法1.1.1 随机梯度下降1.1.2 动量1.1.3 Nesterov动量1.2 自适应学习率算法1.2.1 AdaGrad1.2.2 RMSProp1.2.3 Adam1.3 牛顿法...原创 2022-03-18 19:09:56 · 2382 阅读 · 0 评论