深度学习
文章平均质量分 82
张好好-学习
这个作者很懒,什么都没留下…
展开
-
ViT论文以及代码阅读
ViT模型分析与源码阅读原创 2022-09-17 21:28:58 · 1203 阅读 · 0 评论 -
深度学习中的FLOPs
FLOPs是什么?如何计算?转载 2022-06-05 21:23:44 · 384 阅读 · 0 评论 -
Deformable Convolution(形变卷积操作)
形变卷积详解原创 2022-06-05 20:42:35 · 891 阅读 · 4 评论 -
Transformer模型架构及PyTorch源码详解(基于Attention is All You Need)
模型架构Encoder:N个block组成,每个block由一个自注意层和+一个FFN层组成Decoder:N个block组成,每个block由一个masked自注意层+交叉注意层+FFN层组成交叉注意层——q来自decoder;k,v来自encoder的输出位置编码:位置编码会随着残差计算向后传播源码有五个相关类:TransformerTransformerEncoderTransformerDecoderTransformerEncoderLayerTransformer原创 2022-04-24 18:59:09 · 3217 阅读 · 0 评论 -
Self-Attention详解
文章目录Sequence数据的处理Sequence Labeling(输入和输出的大小一样)Self-Attention内部机理如何求解b?Multi-head Self-AttentionPositional EncodingSelf-Attention for ImageSelf-Attention v.s. CNNSelf-Attention v.s. RNNSequence数据的处理Self-Attention是用来处理Sequence数据的。输入是Vector Set(Sequenc原创 2021-11-24 14:38:38 · 9017 阅读 · 0 评论 -
标签平滑 Label Smoothing
it=sigmoid(Wiixt+bii+Whiht−1+bhi) ft=sigmoid(Wifxt+bif+Whfht−1+bhf) ot=sigmoid(Wioxt+bio+Whoht−1+bho) gt=tanh(Wigxt+big+Whght−1+bhg) ct=ftct−1+itgt ht=ot∗tanh(ct)weightihl[k] \begin{aligned} i_t &= sigmoid(W_{ii}x_t+b_{ii}+W_原创 2021-11-04 21:13:43 · 926 阅读 · 0 评论 -
PyTorch 中,nn 与 nn.functional中有很多相似函数,他们有什么区别?
参考链接转载 2021-11-04 15:11:18 · 103 阅读 · 0 评论 -
算法性能评价指标概括
这里写目录标题目标检测算法IoU交并比分类问题预备知识:TP,TP,FP,FN准确率(Accurancy)精确率(Precision)召回率(Recall)F-Score平均正确率Average Precision, APROC曲线AUC值RP曲线目标检测算法IoU交并比概念介绍参考链接IoU 的全称为交并比(Intersection over Union), 计算的是 “预测的边框” 和 “真实的边框” 的交集和并集的比值。如何计算IoU呢?我们首先需要计算交集,并集通过两个边框的面积的和减原创 2021-11-02 21:18:06 · 2132 阅读 · 0 评论 -
RCNN系列
这里写目录标题R-CNNbounding-box regressionFast R-CNNROI PoolingFaster R-CNNConv LayersRegion Proposal Network(RPN)FPNR-CNNR-CNN的思想很简单就是:region proposal与CNN相结合。Region proposal:R-CNN采用“选择搜索”策略进行区域提取。会选择2000个ROIs(Region Proposal of Interest)特征提取:使用CNN对每个ROI进行特原创 2021-11-02 17:16:36 · 314 阅读 · 0 评论 -
类别不平衡问题
这里写目录标题类别不平衡问题解决方法1、再缩放2、欠采样(undersampling)3、过采样(oversampling)Hard Negative MiningFocal Loss类别不平衡问题训练数据中某些类别的样本数量极多,而有些类别的样本数量极少,就是所谓的类不平衡(class-imbalance)问题。比如说一个二分类问题,1000个训练样本,比较理想的情况是正类、负类样本的数量相差不多;而如果正类样本有995个、负类样本仅5个,就意味着存在类不平衡。在后文中,把样本数量过少的类别称原创 2021-10-24 13:55:32 · 2634 阅读 · 0 评论 -
Transformer概述
本文是根据台大李宏毅教授网课整理,主要是记笔记以供自己复习。这里写目录标题Transformer是什么应用Seq2Seq架构详解EncoderDecoderAutoregressive(AT)Non-autoregressive(NAT)训练exposure bias训练Seq2Seq Model的Tips1、Copy Mechanism复制机制2、Beam SearchTransformer是什么Transformer其实就是一个Seq2Seq Model(输入是一个序列输出也是一个序列但是长度由原创 2021-10-23 23:51:38 · 1670 阅读 · 0 评论 -
CNN的理解以及可视化
这里写自定义目录标题CNN的可视化理解第一个卷积层的可视化最后一层的可视化中间层的可视化擦除激活图显著图Saliency MapCNN的可视化理解第一个卷积层的可视化可视化第一层的卷积核:可以看到卷积核中更多的是一些图像的边缘信息(轮廓信息),因此,第一层的卷积核可以提取一些图像的轮廓信息。为什么要可视化卷积核:目的就是我们想要研究每一层卷积层到底提取的是图像的什么信息。通过可视化卷积核我们发现,卷积核是一些图像轮廓信息,所以我们可以知道,哦~原来卷积神经网络第一层提取了一些图像的轮廓信息。原创 2021-10-23 17:14:22 · 526 阅读 · 0 评论