deep learning 知识点

最新推荐文章于 2022-11-12 16:43:00 发布
最新推荐文章于 2022-11-12 16:43:00 发布
阅读量241 收藏
点赞数
分类专栏： 总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dreamlike_zzg/article/details/104242147
版权

优化

都9102年了，别再用Adam + L2 regularization了
AdamW and Super-convergence is now the fastest way to train neural nets

卷积

im2col的原理和实现
各种卷积动图
空洞卷积问题：gridding、long-range

CNN中的位置和尺度问题
分类需要低频info，定位需要高频info
分类需要平移不变性（invariance），定位需要平移相等性（equivalence）
downsample破坏平移相等性和不变性，对于平移相等性的影响更大。
微小的平移和尺度变化可能严重影响结果（我们不能简单地把系统中的平移不变性寄希望于卷积和二次采样，输入信号的平移不意味着变换系数的简单平移，除非这个平移是每个二次采样因子的倍数。）
缓解：抗锯齿bluring、数据增强、减少降采样
 

softmax

从最优化的角度看待Softmax损失函数
Softmax vs. Softmax-Loss: Numerical Stability
softmax上溢和下溢问题

Normalization

模型优化之Layer Normalization

模型加速

神经网络量化简介

训练trick

a、 fine-tune时的学习率warm-up的调整
b、 L2正则化
c、 Adam优化器换成SGD，lookhead优化器
d、 初始化预训练权重
e、 学习率的调整，根据BACTH SIZE来调整
f、 显存过小时候，使用平均损失来求梯度，防止单次样本太小震荡剧烈。
g、 Batch_size大小的选择，不宜太大也不能太小，最好是2的指数次方
h、 图片的预处理

出现nan值的处理

A、 重新初始化
B、 梯度截断
C、 利用激活函数限幅，如：y = min(max(0,x),6)(relu6)
D、 重新清理数据集
E、 查看是否分母出现0
F、 减小学习率

DreamLike_zzg
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Deep-IRT Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory
weixin_45774904的博客
09-13 1178
基于深度学习的知识追踪模型已被证明在不需要人工设计特征的情况下优于传统的知识追踪模型，但其参数和表示长期以来一直被批评为无法解释。在本文中，我们提出了 Deep-IRT，它是项目响应理论 (IRT) 模型和基于称为动态键值记忆网络 (DKVMN) 的深度神经网络架构的知识追踪模型的综合，用于进行深度学习基于可解释的知识追踪。具体来说，我们使用 DKVMN 模型来处理学生的学习轨迹，并随着时间的推移估计项目难度水平和学生能力。然后，我们使用 IRT 模型使用估计的学生能力和项目难度来估计学生正确回答项目的
Deep-IRT: Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory
Pengwill's Blog
01-22 1165
Deep-IRT: Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory Student Ability and Difficulty Networks DKVMN\text{DKVMN}DKVMN的模型架构可以被很容易的增强，进一步提供其他的有意义的信息。首先，每个潜在知识点的状态可以被...
DKVMN学习
m0_48148247的博客
11-12 1725
DKVMN、DKVMN-BORUTA、SKVMN、Deep-IRT
可解释知识追踪（整理更新）
sereasuesue的博客
10-08 1625
微观角度的可解释性，一个深度学习模型的可解释性是其内 在的固有性质，指模型的决策在多大程度上可以被人类预测和理解。模型的可解释性越强，代表模 型的行为对人类越透明，模型的不确定性也就越低；反之模型的可解释性越弱，模型做出预测的机 制就不能被人类所理解，它的不可控性也越大主动解释 和事后解释两大类：主动解释为模型在做出预测的过程中可以同时生成相应的解释，如注意力显著 性在网络前向传播时即可生成，自我可解释的网络会设计一些可解释单元。事后解释为在模型做出 决策之后，通过一些算法来有效地揭示模型做出预测的原因。
2021-08-24
qq_42305094的博客
08-24 411
BERT使用 - datawhale 组队学习 用的都是微调之后的模型 finetuned 模型 BertForSequenceClassification 这一模型用于句子分类（也可以是回归）任务，比如 GLUE benchmark 的各个任务。 句子分类的输入为句子（对），输出为单个分类标签。 结构上很简单，就是BertModel（有 pooling）过一个 dropout 后接一个线性层输出分类： 在前向传播时，和上面预训练模型一样需要传入labels输入。 如果初始化的num_labels=
斯坦福大学-深度学习-cs230-DeepLearning-官方知识点总结PDF
12-19
斯坦福大学-深度学习-cs230-DeepLearning-官方知识点总结PDF，以图表形式呈现，全面简单易懂
deep-learning-with-python-notebooks-master_deeplearning_深度学习_alm
09-30
深度学习介绍，以及对知识点的总结，是不错的学习资料
机器学习(Machine Learning)、深度学习(Deep Learning)、NLP面试中常考到的知识点和代码实现
06-21
机器学习(Machine Learning)、深度学习(Deep Learning)、NLP面试中常考到的知识点和代码实现 - 此项目是**机器学习、NLP面试**中常考到的**知识点和代码实现**，也是作为一个算法工程师必会的理论基础知识。 - 此...
TensorFlow for Deep Learning
12-11
从eBook下载下来的，自己最近在学习相关知识点，也推荐给大家看看。保存一下资源，免得自己找不到
【代码】优化算法BGD、SGD、Momentum、Adam算法python实现
热门推荐
crazyang的博客
11-29 4万+
最近研究了一下梯度下降的几个算法，网上python的源码少且不清晰，我自己全部实现了一遍，我觉得还是相当清晰明了的，话不多说，且看下文： 文章目录梯度下降批量梯度下降BGD随机梯度下降SGD带动量的随机梯度下降Momentum-SGDAdam 梯度下降 对于目标函数 J(θ)J(\theta)J(θ) ，找到目标函数的梯度方向 ∇θ(J(θ))\nabla_\theta(J (\theta)...
训练神经网络的最快方法：Adam优化算法+超级收敛（转）
weixin_30911809的博客
05-15 1853
训练神经网络的最快方法：Adam优化算法+超级收敛（转） 2018-7-26 10:54|发布者:炼数成金_小数|原作者: 刘志勇 译|来自: AI前线 摘要: 纵观 Adam 优化器的发展历程，就像过山车一样。它于 2014 年在论文 Adam: A Method for Stochastic Optimization（https://arxiv.org/a...
深度知识追踪（Deep Knowledge Tracing）
Zoe_Su的博客
11-26 1万+
Knowledge Tracing 知识追踪是基于学生行为序列进行建模，预测学生对知识的掌握程度。知识追踪是构建自适应教育系统的核心和关键。在自适应的教育系统中，无论是做精准推送，学生学习的路径规划或知识图谱的构建，第一步都是能够精准预测学生对知识的掌握程度。 知识追踪问题可以描述为： 给定一学生的观测序列x0,……,xtx _ { 0 } , \ldots \ldots , x _ { t }...
tensorflow 激活函数relu6为什么是6
northeastsqure的专栏
03-04 1万+
普通relu， y=max(0, x), 相当于无限多个bernoulli分布，即无限多个骰子 relu6, y= min(max(0,x), 6), 相当于有六个bernoulli分布，即6个硬币，同时抛出正面，这样鼓励网络学习到稀疏特征。 网络里面每一个输出n，相当于n个bernoulli分布的叠加。 通过实验发现，用6，效果比较好。所以选用了6 参考： https://sta...
算法转载收藏【2018年及之前】
Bin 的专栏
06-11 2907
零散算法专题收录，自己mark用
Explainable AI 可解释的人工智能----李宏毅教授机器学习课程笔记四
weixin_39389001的博客
03-08 3241
可解释的人工智能 课程视频地址 文章目录1 引言为啥需要可解释呢？模型可解释v.s模型强大2 Local Explanation--Explain the decision思路方法一方法二***梯度方法存在的问题Explanation技术也可能被恶意攻击实际例子3 Global Explanation——Explain the whole model思路需要加约束用生成器来替换上面的约束4 Usi...
知识追踪系列之IRT
qq_40275208的博客
02-08 5413
IRT简介 IRT理论即项目反应理论(Item Response Theory, IRT)。F. Lord在1951年从普林斯顿大学毕业时的博士论文《A Theory of Test Scores》被认为是IRT理论的开端之作。IRT最早使用在心理学领域，目的是做能力评估。现在已广泛应用于教育行业，用于校准评估测试、潜在特征的评分等。 模型介绍 IRT模型是用于评估被试对某一项目或某一类项目...
知识追踪常见建模方法之IRT项目反应理论
sereasuesue的博客
10-03 4531
目录 A.项目反应理论（IRT item response theory） 概述 历史发展 特点 模型 A.项目反应理论（IRT item response theory） 概述 IRT理论即项目反应理论(Item Response Theory, IRT)，又称题目反应理论、潜在特质理论（Item Response Theory）是一系列心理统计学模型的总称。IRT是用来分析考试成绩或者问卷调查数据的数学模型。这些模型的目标是来确定的潜在心理特征(latent trait）是否可以通过测
deep learning
最新发布
09-03
- *1* *2* [Deep Learning简介](https://blog.csdn.net/MyArrow/article/details/51176981)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值