![](https://img-blog.csdnimg.cn/20190927151053287.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习必备知识
文章平均质量分 84
该专栏主要总结神经网络中的基础理论知识
CV技术指南
本人是某高校硕士研究生,研究方向是计算机视觉,对图像分割,图像分类,目标检测,目标跟踪等深度学习算法领域涉猎较深,研究过机器学习算法,熟悉一些基本的数据结构和算法知识。目前正在入门NLP以及数据挖掘和时空序列预测,对人工智能各种前沿技术都特别感兴趣。
展开
-
深度学习中上采样方法总结
深度学习中下采样的方式比较常用的有两种:池化和步长为2的卷积;而在上采样过程中常用的方式有三种:插值、反池化、反卷积。不论是语义分割、目标检测还是三维重建等模型,都需要将提取到的高层特征进行放大,此时就需要对feature map进行上采样。下面本文将具体对深度学习中上采样方法进行详细总结。原创 2022-09-04 19:34:26 · 6289 阅读 · 3 评论 -
计算机视觉模型常用评价指标
分类任务常用准确率、精确率、召回率、F1_scores、ROC曲线等指标来评价模型的优劣,当然这些基础指标也可以用来评价分割模型或检测模型,它们基本上是可以通用的。混淆矩阵是对分类问题预测结果的总结,也是衡量分类型模型准确度中最基本,最直观,计算最简单的方法。混淆矩阵中含有4个分类问题的基础指标,如下表所示。.........原创 2022-08-04 18:20:04 · 4074 阅读 · 0 评论 -
卷积神经网络(CNN)之卷积操作、池化操作、激活函数
前言:卷积神经网络是深度学习算法中一个重要组成部分,在深度学习图像识别技术的应用中起到了关键作用。卷积神经网络和循环神经网络(RNN)都是类似于传统的全连接神经网络(也叫深度神经网络,简称DNN),CNN属于编码了空间相关性的DNN,RNN属于编码了时间相关性的DNN。由于图像任务的不同,CNN的网络层也会有些许变动,但是基本上都会使用到卷积层、池化层以及非线性层。为了加深这方面理论知识的理解,本文将从多方面深入讲解CNN中的卷积操作、池化操作以及激活函数。......原创 2022-07-28 17:22:31 · 13656 阅读 · 5 评论 -
Pytorch(三):可视化工具(Tensorboard、Visdom)
前言:在训练神经网络时,我们希望能够及时了解到网络训练过程中一些关键信息,包括损失曲线、验证集上的准确率以及输入图片各阶段特征的提取情况等,这些信息可以帮助我们掌控网络的整个训练过程。因此,为了更加直观地掌握网络训练过程的各种指标信息,将这些信息进行可视化是一个非常好的选择,下面本文将具体讲解Pytorch中提供的Tensorboard、Visdom这两种可视化工具。..................原创 2022-07-26 15:40:23 · 3124 阅读 · 0 评论 -
为什么会出现梯度爆炸和梯度消失现象?怎么缓解这种现象的发生?
梯度消失现象在深度神经网络训练过程中表现得尤为突出,随着网络层数的加深,损失在反向传播时梯度在不断减小,导致浅层网络的学习进行不下去,参数得不到有效更新。为什么会出现这种现象呢?下面小编将从神经网络反向传播(BP)原理上揭露出现梯度消失和梯度爆炸现象本质以及如何缓解。.........原创 2022-07-23 15:53:31 · 4709 阅读 · 0 评论 -
标准化(Normalization)知识点总结
数据标准化就是使数据分布服从均值为0,方差为1的标准正态分布(高斯分布),是深度神经网络中常用的一种手段,常用在激活函数之前。它的使用可以加快模型训练时的收敛速度,使模型训练过程更加稳定,可以起到缓解梯度消失和梯度爆炸,缓解过拟合等作用。常见的标准化操作有4种BatchNormalization(BN)、LayerNormalization(LN)、InstanceNormalization(IN)、GroupNormalization(GN)。下面将详细讲解这4种标准化操作的异同点以及BN的优点。....原创 2022-07-22 17:10:01 · 2140 阅读 · 0 评论 -
Dropout原理及作用
Dropout是作为缓解卷积神经网络CNN过拟合而被提出的一种正则化方法,它确实能够有效缓解过拟合现象的发生,但是Dropout带来的缺点就是可能会减缓模型收敛的速度,因为每次迭代只有一部分参数更新,可能导致梯度下降变慢。.........原创 2022-07-21 16:34:19 · 24877 阅读 · 4 评论 -
常用损失函数(二):Dice Loss
DiceLoss训练更关注对前景区域的挖掘,即保证有较低的FN,但会存在损失饱和问题,而CELoss是平等地计算每个像素点的损失,当前点的损失只和当前预测值与真实标签值的距离有关,这会导致一些问题(见FocalLoss)。因此单独使用Dice Loss往往并不能取得较好的结果,需要进行组合使用,比如Dice Loss+CE Loss或者Dice Loss+Focal Loss等。......原创 2022-07-20 10:45:44 · 34603 阅读 · 12 评论 -
什么是过拟合、欠拟合现象以及如何缓解?
在讲解之前,小编必须先陈述这样一个客观事实,就是在模型训练过程中,过拟合或者欠拟合现象基本上可以看作是一个必然会发生的事件,因为我们将不同算法模型应用在同一种数据上构建某一类策略时,最终会挑出表现最好的算法模型,无论这个技术复杂与否,这个过程本身就在过拟合。挑出来的算法模型比其它模型更好,很可能是因为它对样本数据内的噪音刻画的更精准,而非发现了一些被其他策略忽视到的真实存在于数据之间的因果关系。总之,过拟合或者欠拟合现象在模型训练过程中是不可避免的,但是可以通过一些方法缓解这种现象的发生。.........原创 2022-07-18 16:01:06 · 14132 阅读 · 0 评论 -
【总结】工业检测项目中如何选择合适的损失函数
【总结】工业检测项目中如何选择合适的损失函数原创 2022-07-15 16:56:59 · 377 阅读 · 0 评论 -
常用损失函数(一):Focal Loss
Focal Loss原理及代码实现原创 2022-07-11 16:15:31 · 3706 阅读 · 1 评论 -
Pytorch(二):数据读取机制(DataLoader、DataSet)与图像预处理模块(transforms)
前言:Pytorch是目前学术界使用较为广泛的一种深度学习框架,要想能够熟练使用这个工具,就需要对它有一个全面系统的了解,本专栏就是为了带领大家系统地梳理Pytorch工具中的一些重要知识点,欢迎各位读者批评指正。目录1、Pytorch的数据读取机制 1.1数据 1.2 DataLoader 1.3 Dataset2、图像预处理模块(transforms)2.1图像变换2.2图像裁剪2.3图像翻转与旋转3、用Pytorch构造自己的数据集(代码实现)3.1准备数据 3.2读取数据并进行图像预处理原创 2022-07-12 14:05:14 · 2385 阅读 · 0 评论 -
Pytorch(一):动态图机制以及框架结构
前言:Pytorch是目前学术界使用较为广泛的一种深度学习框架,要想能够熟练使用这个工具,就需要对它有一个全面系统的了解,本专栏就是为了带领大家系统地梳理Pytorch工具中的一些重要知识点,欢迎各位读者批评指正。目录1、Pytorch的动态图机制 2、Pytorch结构分析2.1 torch2.2 torchvision .........原创 2022-07-12 21:37:24 · 3162 阅读 · 0 评论