深度学习
文章平均质量分 97
落樱弥城
无无
展开
-
23种激活函数
文章目录一、简介二、激活函数种类1、恒等函数2、单位阶跃函数3、逻辑函数4、双曲正切函数5、反正切函数6、Softsign函数7、反平方根函数(ISRU)8、线性整流函数(ReLU)9、带泄露线性整流函数(Leaky ReLU)10、参数化线性整流函数(PReLU)11、带泄露随机线性整流函数(RReLU)12、指数线性函数(ELU)13、扩展指数线性函数(SELU)14、S型线性整流激活函数(S...原创 2019-11-07 15:12:49 · 22079 阅读 · 11 评论 -
感知器及双月实验
文章目录一、定义二、感知器收敛定理三、贝叶斯分类器1、高斯环境下的感知器与贝叶斯分类器的关系2、高斯分布下的贝叶斯分类器3、总结四、实验1、线性可分moon2、线性不可分moon五、附件一、定义 感知器是模仿人类神经元的用于线性可分分类的最简单的神经网络模型。线性可分分类即可以通过一个线性的超平面将数据分开。其基本模型如下图所示,其中a1,a2,...ana_{1},a_{2},...a_{...原创 2019-09-24 12:40:26 · 3003 阅读 · 0 评论 -
ACNet论文阅读笔记
论文地址:ACNet 论文代码:github1 研究思路 尝试提出一个和架构无关的新型CNN结构来提升CNN的性能。稳重提取了非对称卷积块(ACB),使用三个并行的d×d,1×d,d×1d\times d,1\times d, d\times 1d×d,1×d,d×1代替原始的d×dd\times dd×d卷积核进行特征提取。2 结构2.1 非对称卷积 非对称卷积基本上是相对对称卷积来说的,对称卷积一般为3×33\times 33×3,非对称卷积一般为1×31\times 31×3或者原创 2020-05-26 16:14:35 · 984 阅读 · 3 评论 -
《Strip Pooling Rethinking Spatial Pooling for Scene Parsing》论文阅读笔记
论文地址:Strip Pooling 论文代码:github1 简介 基于空间池化能够有效的提取到long-range的上下文信息这一假设,稳重主要有三个贡献:设计了一种使用非对称卷积1×N1\times N1×N和N×1N\times 1N×1新的空间pooling结构;使用strip pooling设计了一个新的空间pooling模块和Mixed Pooling Module;基于strp pooling和mixed pooling搭建了spnet。2 思路 语义分割自FC原创 2020-05-20 20:16:01 · 836 阅读 · 20 评论 -
2019超分辨综述
论文地址:Deep Learning for Image Super-resolution: A Survey 摘要——图像超分辨率(SR)是一类重要的图像处理技术,旨在提高计算机视觉中图像和视频的分辨率。 近年来,目睹了使用深度学习技术的图像超分辨率的显着进步。 本文旨在对使用深度学习方法的图像超分辨率的最新进展提供全面的调查。 通常,我们可以将现有的SR技术研究大致分为三大类:监督SR,无.........翻译 2020-03-01 17:46:46 · 4672 阅读 · 3 评论 -
计算机视觉中的注意力机制(Attention Mechanism)
文章目录1. 简介2. 不同的注意力机制2.1 SEBlock2.1.1 SEBlock结构2.1.2 实现2.1.2.1 SEBlock的实现2.2 PAM and CAM2.2.1 Position Attention Module2.2.2 Channel Attention Module2.2.3 代码实现2.3 CBAM2.3.1 CBAM结构2.3.1.1 Channel-Wise A...原创 2020-01-12 21:03:23 · 10630 阅读 · 2 评论 -
注意力机制之《CBAM: Convolutional Block Attention Module》论文阅读
论文地址:CBAM: Convolutional Block Attention Module 代码地址:github文章目录1. 简介2. 结构2.1 CBAM结构2.1.1 Channel-Wise Attention2.1.2 Spatial Attention Module2.2 代码实现3. 实验结果3.1 实验设置1. 简介 本文提出了一个CBAM注意力机制模块,和SE...原创 2020-01-10 18:11:11 · 1746 阅读 · 0 评论 -
backbone之《Squeeze-and-Excitation Networks》论文阅读
论文地址:Squeeze-and-Excitation Networks 论文代码:github1. 简介 SENet是207年ILSVRC分类比赛的冠军网络结构,准确的说文章中提出的结构是一个SEBlock,作为一个自学习的子模块,可以嵌入到大部分主流的网络。文中提出的网络SEResNet就是在ResNet的基础上添加了SEBlock结构。 SEBlock现在可能的叫法为cha...原创 2020-01-10 17:14:11 · 227 阅读 · 0 评论 -
语义分割之《PIXEL DECONVOLUTIONAL NETWORKS》论文阅读笔记
论文地址:PIXEL DECONVOLUTIONAL NETWORKS 代码地址:github一、简介 这篇文章提出的PixelDCL主要是为了解决Deconvolution所造成的棋盘效应。二、细节1、Tranditional Deconvolutional Layers 传统的Deconvolution操作分为两个:空洞卷积和转置卷积,这里讨论的是转置卷积。转置卷积的操作...原创 2019-11-05 17:41:37 · 581 阅读 · 0 评论 -
语义分割之《MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS》论文阅读笔记
论文地址:MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS 论文代码:github一、简介 语义分割相比于分类是一种密集信息的分类任务,需要更多的细节和上下文信息,如何获取更好的上下文信息是目前大多数研究的方向,一般的做法是多尺度输入,融合网络不同stage的featue得到多尺度feature或者使用特殊的模块提取更好的...原创 2019-11-02 18:56:56 · 495 阅读 · 0 评论 -
语义分割之《CCNet: Criss-Cross Attention for Semantic Segmentation》论文阅读笔记
论文地址:CCNet: Criss-Cross Attention for Semantic Segmentation 代码地址:CCNet github文章目录一、简介二、结构1、CCNet结构2、Criss-Cross Attention3、Recurrent Criss-Cross Attention4、代码三、结果一、简介 CCNet是2018年11月发布的一篇语义分割方面...原创 2019-11-02 15:30:25 · 2596 阅读 · 2 评论 -
《Bag of Tricks for Image Classification with Convolutional Neural Networks》论文阅读笔记
论文地址:Bag of Tricks for Image Classification with Convolutional Neural Networks文章目录一、简介二、实验设置1、Baseline1)、Baseline设置2)、Baseline实验结果2、加速训练的方式1)、大批量训练线性缩放学习率学习率warmup部分γ置0无bias衰减2)、低精度训练3)、实验结果三、模型调整1...原创 2019-11-02 15:22:09 · 377 阅读 · 0 评论 -
YOLO论文阅读笔记
文章目录一、YOLO-v1简介二、YOLO-V1流程1、one-stage2、具体流程3、网络模型4、实验过程中的缺陷及其改进三、分析1、效果2、优缺点四、其他1、训练时的小Trick一、YOLO-v1简介 yolo-v1是Joseph Redmon等人发表的一片one-stage的实时目标检测(object detection)论文,相比于传统的目标检测算法和之前利用CNN进行目标检测的算...原创 2019-06-05 10:36:35 · 572 阅读 · 0 评论 -
YOLOV2论文阅读笔记
文章目录一、简介二、yolov2具体改进1、Batch Normalization2、高分辨率的分类器3、Anchor box4、簇聚类5、直接定位预测6、细粒度的特征7、多尺度训练8、Darknet-19三、yolov2损失函数四、YOLO9000五、结果六、其他1、分类训练2、检测训练一、简介 yolo-v2是基于yolo-v1进行改进的更快准确率更高的实时目标检测算法,而且其分类网络y...原创 2019-06-11 20:15:16 · 1421 阅读 · 0 评论 -
YOLOV3论文阅读笔记
一、YOLOV3简介 YOLOV3的内容很少,正如作者在文中所说这篇仅仅是一个TECH REPORT。简单的说来YOLOV3相对于YOLOV2的改进主要在三个方面:改用logistic回归分类;改用Darknet-53特征提取网络,引入了残差结构;使用了类似FPN的结构进行预测。二、改进1、logistic yoloV3在为每个bonding box做目标概率检测的时候改用l...原创 2019-06-11 20:22:42 · 2452 阅读 · 0 评论 -
backbone之MobileNet-v1论文阅读笔记
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 一、简介 《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》这篇论文提出了一个用于移动端设备高效的深度网络Mo...原创 2019-07-05 20:05:28 · 563 阅读 · 0 评论 -
pytorch常用的学习率设置方式
文章目录1、LambdaLR自定义学习率调整方式2、StepLR分阶段更新学习率3、MultiStepLR顶点分阶段更新学习率4、ExponentialLR指数衰减更新学习率5、CosineAnnealingLR余弦更新学习率5、ReduceLROnPlateau自适应调整学习率6、CyclicLR循环学习率7、自定义学习率8、完整的测试程序1、LambdaLR自定义学习率调整方式torch....原创 2019-08-05 21:01:57 · 2141 阅读 · 0 评论 -
《Matching Networks for One Shot Learning》论文笔记及其代码阅读
论文地址:Matching Networks for One Shot Learning源代码地址:MatchNet文章目录一、介绍1、few-shot learning2、matching networks二、Matching Networks1、网络结构(1)整体结构(2)特征提取网络(3)记忆网络(4)距离度量网络(5)attention模块2、其他细节(1)matching net的数...原创 2019-09-10 18:45:10 · 7298 阅读 · 9 评论 -
语义分割之《Pyramid Scene Parsing Network》论文阅读笔记
文章目录一、简介二、所面对的问题及其解决方向三、结构1、Pyramid Pooling Module2、网络结构3、Deep Supervision for ResNet-Based FCN四、实验1、实验设置2、ImageNet Scene Parsing Challenge 20163、PASCAL VOC 20124、Cityscapes一、简介 PSPNet官方地址 PSPNet...原创 2019-09-26 22:36:58 · 1135 阅读 · 0 评论