奋斗の博客

前言都知道何凯明大神的ResNet是为了解决“网络退化”问题，所谓的“网络退化”是指随着网络层次的加深，到达一定深度后，网络模型的性能不升反降，这被称为“网络退化”。如下图所示。随着网络层次的加深，网络变得难以训练，不易收敛，原因在于随着网络层次的加深，深层梯度难以反向传播到浅层，即使传播到浅层，浅层的梯度值也小的可怜。而ResNet利用残差连接，为什么能将网络做到很深的呢？其背后的原理是怎样的呢？刚入门深度学习时，没有认真考虑背后的原理，只是单纯地知道ResNet中残差连接到引入是为了解决“网络退化

前言案例1案例2

前言最近在跑JRST肺部数据集相关实验的时候，发现JRST数据集的masks的格式为.gif格式的，然而我之前所有的代码都是对.png格式的图片进行操作的，故需要将.gif格式的图片转为.png格式。实现原理其实非常简单，无非就是依次取出.gif的每一帧图像，然后将每一帧图像保存即可。# 导包import osfrom PIL import Image, ImageSequence# 打开.gif格式的图像gitImg = Image.open('example.gif')index =

前言本科期间专业为软件工程，大二学习过Java一学期，但年代久远，Java的基本知识点均已忘记，目前面临找工作问题，同学之间内卷太严重，故在此重新学习Java的基础知识，重温Java。学习一门高级语言的前提是要有相应的环境，故第一天为JDK环境的配置。笔者系统为Windows10。JDK环境配置1. 下载JDK下载链接：https://www.oracle.com/java/technologies/downloads/#java8-windowsx86为32位操作系统，x64为64位操作系统，

级别级别数值使用时机DEBUG10详细信息，常用于调试INFO20程序正常运行过程中产生的一些信息WARNING30警告用户，虽然程序还在正常工作，但有可能发生错误ERROR40由于更严重的问题，程序已经不能执行一些任务CRITICAL50严重错误，程序已经不能继续运行CRITICAL > ERROR > WARNING > INFO > DEBUG默认的日志级别为WARRING，即DEBUG和INFO的输出信...

前言一篇好的论文中图和表是必不可少的，本人结合自己写论文过程中用到的一些图、线，并对此稍加整理整合，汇总成本文。本文基于Python语言实现。一、ROC曲线二、PR曲线三、折线图四、箱型图五、损失变化图参考文献...

前言最近在复现论文中一个块的时候需要使用到torch.flatten()这个方法，这个方法其实很简单，但其中有一些细节可能需要注意，且有个关键点很容易忘记，故在此记录以备查阅。方法解析flatten的中文含义为“扁平化”，具体怎么理解呢？我们可以尝试这么理解，假设你的数据为1维数据，那么这个数据天然就已经扁平化了，如果是2维数据，那么扁平化就是将2维数据变为1维数据，如果是3维数据，那么就要根据你自己所选择的“扁平化程度”来进行操作，假设需要全部扁平化，那么就直接将3维数据变为1维数据，如果只需要部分

一、前言二、torch.roll()方法解析三、案例分析

前言一、回顾Transformer二、Swin Transformer背景三、Swin Transformer创新点3.1 Relative position bias3.2 循环窗口移动四、

导读最近忙于跑实验，没有及时更新文章，深感抱歉，请大家谅解，继续支持一下！通过CSDN的新星计划，收获很大，不仅仅是收获了5000+的粉丝量，而且还养成了自己坚持写文章的习惯，希望可以一直坚持下去。资料很多，大家各取所需，自行下载！深度学习入门资料：https://blog.csdn.net/dongjinkun/article/details/117776124深度学习入门文章：1个字，绝! – CNN中十大令人拍案叫绝的操作都2021年了，不会还有人连深度学习还不了解吧？（一）-

导读目前深度学习系列已经更新了7篇文章，分别是激活函数篇、卷积篇、损失函数篇、下采样篇、Padding篇、评估指标篇，另有1篇保姆级入门教程，1篇总结性文章CNN中十大令人拍案叫绝的操作，想要入门深度学习的同学不容错过！一、数学基础1.1 偏导数1.2 链式求导法则1.3 案例二、BP算法及其工作原理三、优化算法在深度学习中扮演着什么角色四、常见的优化算法3.1 随机梯度下降法（SGD）3.2 Momentum3.3 AdaGrad3.4 Adam文章持续更新，可以关注微信公众号

导读本篇文章主要介绍CNN中常见的填充方式Padding，Padding在CNN中用的很多，是CNN必不可少的组成部分，使用Padding的目的主要是为了调整输出的大小，是必须搞清楚的知识点。如果你想继续了解深度学习，那么请看下去吧！目前深度学习系列已经更新了6篇文章，分别是激活函数篇、卷积篇、损失函数篇、下采样篇、评估指标篇，另有1篇保姆级入门教程，1篇总结性文章CNN中十大令人拍案叫绝的操作，想要入门深度学习的同学不容错过！一、Padding介绍1.1 什么是Padding在进行卷积层的处理

导读该篇文章可以看作是我研一如何入门深度学习的一个大总结，本人本科专业为软件工程，硕士期间研究方向为基于深度学习的图像分割，跨度相对而言不算太大，。如果你对如何入门深度学习还很迷茫的话，那么看下去吧。一、Python的学习虽然是深度学习入门教程，但是Python的学习是必不可少的，一套完整神经网络代码是由Python串起来的，网络结构部分主要是靠PyTorch实现。二、必读入门论文建议按照顺序依次往下看：LeNet：https://ieeexplore.ieee.org/abstract/d

导读为了保证文章的质量，但又需要顾及写文章的速度，因此，先更新下采样篇，因为上采样篇继续需要一段时间来打磨润色。下采样方式下采样代码实现参考文献《》计划1个字，绝! – CNN中十大令人拍案叫绝的操作都2021年了，不会还有人连深度学习还不了解吧？（一）-- 激活函数篇都2021年了，不会还有人连深度学习还不了解吧？（二）-- 卷积篇都2021年了，不会还有人连深度学习还不了解吧？（三）-- 损失函数篇都2021年了，不会还有人连深度学习还不了解吧？（四）-- 上采样篇都202

一、精品专栏Deep Learning：https://blog.csdn.net/dongjinkun/category_11102528.htmlPython：https://blog.csdn.net/dongjinkun/category_8118800.htmlPyTorch：https://blog.csdn.net/dongjinkun/category_10785786.htmlComputer Vision：https://blog.csdn.net/dongjin

一、前言本来这周的计划是更新上采样篇的，但是上采样篇涉及到的数学知识较多，为了让大家更好的理解弄懂，需要花费大量的时间来阐述，加上本周正在做第一篇论文的实验，实验量很多，因此，将上采样篇延迟更新。请大家谅解！那么，本篇文章主要介绍深度学习中常用的几个评估指标，这是评价一个网络模型好坏的标准，非常重要，最后，希望大家学的愉快！你们的支持是我更新最大的动力！二、评估指标解析在阐述评估指标之前，需要搞清楚混淆矩阵，也就是TP、TN、FP、FN之间的联系。TP：被模型预测为正类的正样本TN：被模型预测为

一、前言C、Java、Python作为常据世界编程语言排行榜的前三甲，必然有其得天独厚的优势。以下是2021年5月最新的高级编程语言排行榜，可以看到，Python已经超越Java语言跃居世界第二位，为什么Python越来越受欢迎了呢？看完以下几个例子，你就知道为什么了！二、几个案例让你想学Python2.1 交换变量值Python在这里插入代码片C在这里插入代码片Java在这里插入代码片2.2 筛选列表2.32.4...

前言近十年是深度学习飞速发展的十年，自LeNet、AlexNet发展至今，通道注意力、空间注意力、生成对抗网络等技术层出不穷，最近大火的Transformer技术也在屠杀各种深度学习比赛的榜单，经过科学家的不懈努力，网络深度越来越深，网络模型的精度逐渐上升，网络的参数逐渐减少，模型越来越轻量化。该篇文章可以看作是我在研一的学习过程中所看上百部论文的精华所在，纯干货，建议收藏起来慢慢品味！一、残差神经网络残差神经网络（ResNet）是CVPR2016的最佳论文，说它是CVPR近二十年最佳论文也不为过，

一、前言深度学习系列文章陆陆续续已经发了两篇，分别是激活函数篇和卷积篇，纯干货分享，想要入门深度学习的童鞋不容错过噢！书接上文，该篇文章来给大家介绍“ 选择对象的标准 ”-- 损失函数，损失函数种类繁多，各式各样，不仅包括单损失函数，而且也包括多损失函数，但是最常使用的还是经典的均方误差损失函数和交叉熵损失函数，所以本篇文章重点介绍这两种损失函数，至于其余单损失函数和多损失函数，我也会简单介绍一下，并提供相应的经典论文供大家自行阅读！二、什么是损失函数、为什么使用损失函数其实，我们在现实生活中会在无

一、前言上篇文章详细阐述了激活函数是什么、常用的激活函数有哪些以及为什么要使用激活函数，相信大家对此有了一定的了解。在此基础上，我们趁热打铁，继续学习深度学习其它必须的知识。该篇文章讲述卷积操作及其它衍生出的操作，我愿称之为最强！卷积自提出以来，凭借其优异的提取特征的能力，已逐渐称为现代CNN网络中必不可少的组成部分，并引发了基于深度学习的方法研究计算机视觉的浪潮！二、普通卷积在阐述卷积的工作原理之前，我们需要了解一下为什么要使用卷积，以及卷积神经网络相较于全连接神经网络的优势体现在哪里。2.1