深度学习学习笔记——常见知识点

已于 2022-12-08 15:20:53 修改
阅读量2.1k 收藏
点赞数
分类专栏： 深度学习学习笔记 文章标签： 深度学习 目标检测 计算机视觉
于 2021-12-09 21:37:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/phily123/article/details/121844663
版权

提高网络模型表达能力：增加深度、宽度、输入的分辨率
手写self-attention
介绍图神经网络
为什么L1更容易稀疏
AUC怎么计算
手写个attention的伪代码
conv底层实现方式
小目标检测性能提升方法
网络训练慢如何定位瓶颈
transformer的非线性来自于哪里
trnasformer为甚恶魔用LN,不用BN
旋转角度的IOU计算
Dropout的原理和计算
平均池化和最大池化优缺点
MobileNet的设计理念是什么？
有哪些优化方法使用了二阶导数？
优化器的发展历程
各种normalization的作用
介绍通道注意力与特征注意力
介绍transformer的encoder模块
transformer中的残差结构以及意义

phily123
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《神经网络与深度学习》算法伪代码汇总
weixin_46178977的博客
07-21 1万+
《神经网络与深度学习》算法伪代码
深度学习笔记（2）
qq_61094172的博客
03-15 1053
1.访问元素 比如数组： [[1, 2, 3, 4], [5 ,6, 7, 8], [9,10,11,12], [13,14,15,16]] 访问一个元素：[1,2] （7） 访问一行元素：[1,:] （[5,6,7,8]） 访问一列元素：[:,1]（2，6，10，14） 子区域：[1:3,1:]（表示第1行到第3行的开区间结束，即第1行和第2行，第1列开始到后面所有列） 子区域：[::3,::2]（表示把第0行和第3行拿出来，再把第0列和第2列拿出来） xyz19971105..
C语言经典算法之循环神经网络算法（伪代码）
最新发布
weixin_56154577的博客
02-19 1482
循环神经网络（Recurrent Neural Network, RNN）在C语言中并没有标准库可以直接调用实现，但可以使用C语言描述其基本原理和结构，并通过编写自定义函数来模拟其实现。RNN通常用于处理序列数据，在时间序列上具有记忆功能，能够捕捉到数据的时间依赖性。
Attention的学习
qq_42325691的博客
04-01 1075
Attention的学习
强化学习算法伪代码对比
心之所向
03-29 6189
Value-Based Q-learning： 1、在迭代模型时Q-learning算法目标值的计算是选取下一状态最大的动作价值 2、下一状态的动作选取使用的是e-greedy算法，因此产生数据的策略（e-greedy）和迭代模型的策略（贪心：选取最大动作价值）不同，属于off-policy SARSA： 1、在迭代模型时Q-learning算法目标值的计算是选取e-greedy算法产生的下...
《深度学习》读书笔记——第六章 深度前馈网络
weixin_42226522的博客
06-30 345
《深度学习》读书笔记 文章目录《深度学习》读书笔记第六章 深度前馈网络代价函数输出单元线性输出层Sigmoid单元（二分类问题）Softmax单元（多分类问题）其他输出类型隐藏单元整流线性单元及其扩展(RELU)logistic sigmoid与双曲正切函数sigmoid函数双曲正切函数其他隐藏单元架构设计万能近似性质和深度反向传播第七章 深度学习中的正则化 第六章 深度前馈网络 定义：模型的输出...
学习笔记：深度学习（6）——基于深度学习的语言模型
Morganfs的博客
04-25 1464
预训练模型梳理：从NNLM到词嵌入、从ELMo到GPT&BERT，以及After GPT&BERT。
基于统编版教科书的课堂深度学习研究——谈小学语文课堂教学深度.pdf
08-18
"基于统编版教科书的课堂深度学习研究——谈小学语文课堂教学深度" 一、知识点总结 * 小学语文课堂学习的重要性：小学阶段的语文学习是学生语文学习的起始阶段，也是重要的奠基时期。 * 深度学习的重要性：深度...
动手学深度学习笔记2——数据操作&数据预处理
weixin_66472769的博客
04-03 954
《动手学深度学习》笔记 第二章 预备知识 2.1数据操作&2.2数据预处理
深度学习——注意力机制（笔记+代码）
jbkjhji的博客
02-08 1131
②在给定的数据进行查询xi，选择和新给定的值比较近的数据，然后将这些数据对应的value值进行加权求和，得到最终的query，不需要学习参数。f（x）的 key 和所有的不随意线索的 key 做距离上的计算（α（x，xi），通常称为注意力权重），分别作为所有的 value 的权重。偏向的选择某些输入—根据query偏向的选择输入，显示的加入query，根据query查询所需要的东西。平均池化：最简单的方案，不需要管查询的东西(f(x)的x)，只对y求和取平均就可以了。（随着意志，主动的，有意识）和。
随机森林算法
11-06
随机森林回归分宜预测，比向量机精度好点随机森林 论文作者写的随机森林代码，采用matlab混合编程，需要安装Fortran compiler。。。 (An interface to the random forest algorithm (version 3.3) written by Leo Breiman and Adele Cutler. This tool is for windows MATLAB R13 only)
[LLM] 自然语言处理 --- Self-Attention(二) 动画与代码演示
摩登都市天空---专栏
04-20 820
一 Self Attention Self Attention也经常被称为intra Attention（内部Attention），最近一年也获得了比较广泛的使用，比如Google最新的机器翻译模型内部大量采用了Self Attention模型。 在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素Query和Source
三维卷积伪代码_深度学习在推荐系统中的应用6（附论文及源代码）
weixin_33831334的博客
01-16 738
本账号为第四范式智能推荐产品先荐的官方账号。账号立足于计算机领域，特别是人工智能相关的前沿研究，旨在把更多与人工智能相关的知识分享给公众，从专业的角度促进公众对人工智能的理解；同时也希望为人工智能相关人员提供一个讨论、交流、学习的开放平台，从而早日让每个人都享受到人工智能创造的价值。以下内容经作者授权转载自微信公众号【智能推荐系统】。转载内容仅用于学习交流，版权归原作者所有。这篇文章提出的模型为T...
Self-Attention和Multi-Head Attention的详细代码内容（没有原理）
LRJ的博客
11-09 2983
self-attetion等结构的代码。
本科生学深度学习-GRU最简单的讲解，伪代码阐述逻辑，实例展示效果
我是香菜
11-05 2674
RNN写了几期了，今天写下最后一个RNN的神经网络GRU，废话不多说，直接走起。 1.gru 是什么 GRU是LSTM的一种简单的变体，比LSTM网络的结构更加简单，而且效果也不差，运行效率更高，因此也是当前流行的一种网络结构。 使用GRU能够达到相当的效果，并且相比之下更容易进行训练，能够很大程度上提高训练效率，因此很多时候会更倾向于使用GRU。 2.和LSTM的网络结构差别 上一节的时候我写了LSTM的网络结构，LSTM最终的三个门控神经单元是输入门，遗忘门，以及输出门，简单的概括下三个门控单
深度学习超参数理解
jiang_ming_的博客
09-11 8160
这篇博客是对深度学习中比较重要的或者常见的超参数做一个整理笔记。 1：learning rate（） 学习率决定了权值更新的速度，在迭代更新权值的过程中，设置过大容易使训练的模型跨过最优值，导致过拟合；设置过小会使梯度下降过程过慢。这个参数是根据经验和不断实验来设置。 2：Weight decay（） 为了避免过拟合，必须对目标函数cost function（损失函数一般也叫价值函数）...
代码解析深度学习系统编程模型：TensorFlow vs. CNTK
happytofly的博客
03-21 1916
本文从程序员的角度对CNTK和TensorFlow做高层次的对比。本文也不属于性能分析，而是编程模型分析。文中会夹杂着大量的代码。 原标题：当TensorFlow遇见CNTKCNTK是微软用于搭建深度神经网络的计算网络工具包，此项目已在Github上开源。因为我最近写了关于TensorFlow的文章，所以想比较一下这两个系统的相似和差异之处。毕竟，CNTK也是许多图像识别挑战赛的卫冕冠军。为...
Dijkstra（伪代码）
oinei的博客
03-09 8256
step 1：找出未标记过的离起点最近的点（如果没有的话，就中止算法） step 2：以该点为中心点更新该点周围的点 step 3：反复执行注意重边，初始化，编号是1-n，还是0-(n-1)
史上最直白之Attention详解（原理+代码）
weixin_44048622的博客
09-17 6562
Attention机制笔者认为是Transformer模型中最出彩的设计，本文希望可以更好的帮助大家理解Attention机制究竟是如何在模型中起作用的
吴恩达深度学习课程V5.2中文笔记：掌握AI核心技术
深度学习笔记V5.2是由黄海广博士整理的一份针对吴恩达教授在Coursera平台上开设的深度学习课程——DeepLearning.ai的详细记录。该课程特别针对那些已经具备基本编程知识，熟悉Python，并有一定机器学习基础的学习者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值