![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 72
。
Cairo Dai
这个作者很懒,什么都没留下…
展开
-
不同Normalization方法的比较(通俗易懂)
话不多说,先上图(从其他地方搜罗到的,感觉很清晰直观了)Batch Normalization(BN)——【最常见了属于是】对一个batch size数据的某一个channel做normalization,即减均值除方差 Layer Normalization(LN) ——【RNN、transformer,NLP中常见,因为输入为序列,长度不定即channel不同】对一个数据的所有channel做normalization Group Normalization(GN)——【BN要求Batc.原创 2022-04-10 21:52:18 · 1076 阅读 · 0 评论 -
过拟合与欠拟合问题
过拟合问题1.问题描述过拟合(over fitting),是指机器学习模型或深度学习模型在训练样本上表现得过于优秀,而在验证数据集以及测试数据集上表现不佳,模型的泛化能力弱。根本原因是特征维度(或参数)过多,样本过少,导致拟合的函数完美地经过训练集,但对于新数据的预测结果则较差。在训练中表现为:训练集的loss较小,acc较高,而测试集上的acc却较低。2.出现原因训练样本中的噪音数据干扰太大,大到模型过分记住了噪音数据的特征而忽略了真实数据间的输入输出关系。 训练样本数量太少,无原创 2021-09-28 23:02:48 · 293 阅读 · 0 评论 -
语义分割FCN与U-Net
FCN(Fully Convolutional Network)FCN也叫全卷积网络,从名字可以看出,FCN与CNN的不同之处就是,FCN将我们一般的经典分类网络模型(VGG、ResNet...)最后一层的FC(全连接层)全部换成了卷积层,这样可以得到二维的特征图,并通过在其后接softmax层来获得每个像素点的分类信息,从而解决了分割问题。核心思想:由于为全卷积网络,用conv层代替了fc层,故可接受任意尺寸的输入。 反卷积层,增大了数据的尺寸,输出的结果更为精细。 结合不同深度层结.原创 2021-09-28 21:45:48 · 776 阅读 · 0 评论 -
图像语义分割入门
常见的分割任务包括语义分割(semantic segmentation)FCN、实例分割(Instance segmentation)Mask R-CNN、全景分割(Panoramic segmentation)原创 2021-09-28 16:24:44 · 773 阅读 · 0 评论 -
SPPnet
空间金字塔层池化网络(Spatial pyramid pooling networks,SSPnets)可以通过计算共享来加速R-CNN,SSPnet是先对整张图片做卷积,由于卷积池化之后得到的特征图与原图片的特征位置是相对应的,所以直接在特征图上截取候选框,然后再使用做不同尺寸的最大池化将得到的特征向量拼接得到最终的特征向量。SSPnet相比于R-CNN测试速度加速了10-100倍,训练时间较少了3倍。...原创 2021-09-22 11:05:42 · 420 阅读 · 0 评论 -
深度学习分类任务评估指标总结
之前学习了机器学习与深度学习,对于这方面内容也是多有涉猎,但昨天经过师兄的问答考核惊觉自己对于这些评估指标概念并不能很好地表达出来,有种话到嘴边不知道该怎么讲的局促,一些专业术语不知道如何表述,我想这也是我的问题,显得很不专业,因此决定总结一下分类任务中的各类评价指标,当下温习,并供日后学习及参考。混淆矩阵 混淆矩阵是在分类情况下最为常用的一个指标,是一个可视化工具,在矩阵表格中我们可以很清楚地看到每个类别被识别正确的数量和识别错误的数量。它能够很好地反映一个分类模型的...原创 2021-09-18 17:55:34 · 1215 阅读 · 0 评论 -
Fast R-CNN浅解
使用VGG16作为网络的backbone,训练速度比R-CNN快了9倍,测试速度快了213倍,并且在PASCAL VOC 2012上实现了更高的map;与SPP Net相比,Fast R-CNN训练速度快了3倍,测试速度快了10倍,并且准确率更高;——单阶段训练算法----分类与边框回归的loss合并,梯度回传算法流程一张图像生成1k~2k个候选区域(使用Selective Search方法)将图像输入网络得到相应的特征图,将SS算法生成的候选框投影到特征图获得相应的特征矩阵将每个特原创 2021-09-03 11:07:58 · 317 阅读 · 0 评论 -
R-CNN浅解
R-CNN(Region with CNN faeture)1.候选区域的生成 利用Selective Search算法通过图像分割的方法得到一些原始区域,然后使用一些合并策略讲这些区域合并,得到一个层次化的区域结构,而这些结构就包含着可能需要的物体。2.对每个候选区域,使用深度网络提取特征 将2000候选区域缩放到227×227,接着将候选区域输入事先训练好的AlexNet CNN网络获取4096维的特征得到2000×4096维矩阵。3.特征送入每一类的SV...原创 2021-09-02 16:30:57 · 192 阅读 · 0 评论 -
NMS非极大值抑制(Non-max suppression)
非极大值抑制(Non-Maximum Suppression,NMS),可理解为搜索局部最大值,即抑制不是极大值的元素。由于在现有的目标检测算法中,都会产生数量巨大的候选框矩形,这些矩形框有很多指向同一目标,因此存在大量冗余的候选矩形框。而NMS可以很好地消除多余的框,找到最佳的物体检测位置。具体实现步骤为: 1.设定目标框的置信度阈值,常用阈值为0.5左右 2.根据置信度降序排列候选框列表 3.选取置信度最高的框A添加到输出列表,并将其从候选框...原创 2021-09-02 16:30:06 · 529 阅读 · 0 评论 -
Selective Search算法浅解
在目标检测任务中,一个很重要的问题就是如何确定所需检测的目标的位置,即候选框的位置确定问题。SS算法之前,关于这个问题,比较简单粗暴的算法就是穷举法或滑动窗口法,即在原始图片上进行不同尺度不同大小的滑动窗口,获取每个可能的位置。但这样做是存在很大弊端的,复杂度太高,会产生很多冗余的候选区域,并且由于窗口大小设置,不可能兼顾到每个尺度,因此得到的目标位置也不够准确。Selective Search算法采用候选区域方法(region proposal method)创建目标检测的感兴趣区...原创 2021-09-02 16:07:39 · 393 阅读 · 0 评论 -
CNN基础知识-误差计算
Cross Entropy Loss交叉熵损失1.softmax输出,所有输出概率和为12.sigmod输出,每个输出节点之间互不相干(其中Oi*为真实标签值,Oi为预测值,默认log以e为底等于ln)原创 2021-03-23 16:40:19 · 289 阅读 · 0 评论 -
AlexNet网络详解与pytorch实现
最近在学习B站一个up主的视频,很棒。故决定在学习过程中进行笔记整理和总结。(无它,自用自勉)给出收藏的博主笔记及up主笔记,以便自己日后查找翻阅。博主链接(内里给出几篇参考博客可读)AlexNet详解使用Dropout的方式在网络正向传播过程中随机失活一部分神经元,以减少过拟合可以发现,除 Conv1 外,AlexNet 的其余卷积层都是在改变特征矩阵的深度,而池化层则只改变(减小)其尺寸。1.各层详解Conv1注意:原作者实验时用了两块GPU并行计算.原创 2021-03-31 17:30:08 · 363 阅读 · 0 评论 -
LeNet网络详解与pytorch实现
最近在学习B站一个up主的视频,很棒。故决定在学习过程中进行笔记整理和总结。(无它,自用自勉)给出收藏的博主笔记及up主笔记,以便自己日后查找翻阅。博主链接 Pytorch中tensor(输入输出层)的通道排序为:[batch, channel, height, width]Pytorch中的卷积、池化、输入输出层中参数的含义与位置如下图所示1. 模型代码import torch.nn as nnimport torch.nn.fun...原创 2021-03-30 20:17:03 · 634 阅读 · 2 评论