Natuski_-CSDN博客

原创 Swin Transformer原文及其代码的理解

Swin Transformer的理解和实现第一版更好的排版笔记：Notion名词解释基础知识：搞懂Vision Transformer 原理和代码，看这篇技术综述就够了(三)token:分词，cv中一般是patchMSA:Multi-head Self Attention导论????(力推)图解Swin Transformerofficial repo：microsoft/Swin-Transformer实现接下来跟着paper中的Architecture图结合原论文来讨

2021-07-02 16:00:29 5578 1

原创半监督学习之DTC(Semi-supervised Medical Image Segmentation through Dual-task Consistency)

半监督学习之DTC不同于MixMatch这类使用“数据增强后的结果一致性(consistency)”，改方法使用“任务一致性”来约束模型（正则化）。由于第一类方法的无监督信号的构建需要模型的预测流程，即每一步由“训练+预测”构成，所以相对的带来了训练时间的大大增加(在Keras框架里面可以通过构建类似GAN一样的结构，即将一个模型complie两次，但是预测的哪个模型的所有参数的设置为不可训练)。而DTC（开创性的工作）提出一种新思路——“任务一致性正则”，通过将分割分为pixel-wise分类任务和l

2021-06-17 14:04:51 2540 14

原创半监督学习之MixMatch

半监督学习之MixMatchMixMatchUnsupervised Data Augmentation for Consistency Training半监督深度学习训练和实现小TricksMixMatch: A Holistic Approach to Semi-Supervised Learning1.解读超强半监督学习 MixMatch此方法仅用少量的标记数据，就使半监督学习的预测精度逼近监督学习。自洽正则化（Consistency Regularization）。自洽正则化的

2021-05-27 09:43:36 1378

原创实时语义分割——DFANet及Keras实现

实时语义分割——DFANetDFANet: Deep Feature Aggregation for Real-Time Semantic Segmentationpytorch实现1huaifeng1993/DFANet2Tramac/awesome-semantic-segmentation-pytorchOur proposed network starts from a single lightweight backbone and aggregates discriminat

2021-04-02 15:04:57 873

原创三元组损失（Triplet loss）及TensorFlow(v1)的实现

三元组损失（Triplet loss）AbstractTriplet Loss - Special applications: Face recognition & Neural style transfer | Coursera三元：AnchorPositiveNegativeAnchor与Positive差距小，Anchor与Negative差距大。为什么叫三元损失，因为计算时需要用到上面3种样本目标：A与P的差距（d(A,P)）小于A与N的差距（d(A,N)）即∣∣f

2021-03-20 20:31:51 1787

原创【目标检测】目标检测的一些常用神经网络模型及方法

我的阶段性总结????文章目录1.概述1.2 目标检测的任务1.3 目标检测的分类2.R-CNN系列2.1 [R-CNN（Region with CNN features）](https://arxiv.org/pdf/1311.2524.pdf)2.2 [Fast R-CNN](https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Girshick_Fast_R-CNN_ICCV_2015_paper.pdf)2.3 [Fa

2020-12-01 20:30:15 16453 2

原创 Scaled-YOLOv4:CSP网络的缩放

Scaled-YOLOv4: Scaling Cross Stage Partial Network原文： https://arxiv.org/pdf/2011.08036v1.pdf项目地址： https://github.com/WongKinYiu/ScaledYOLOv4/tree/yolov4-csp网络结构在第四节⭐️文章目录Scaled-YOLOv4: Scaling Cross Stage Partial Network0.Abstract1.Introduction2.Rela

2020-11-22 18:58:37 7015 4

原创 YOLOv5：代码阅读（一）：train.py；yaml文件

YOLOv5：代码阅读（一）文章目录YOLOv5：代码阅读（一）1.yaml文件1.1 从yaml文件中解析yolov5整体基本框架问题:Focus是啥模块？问题:Conv的咋定义的问题:CSPNet是如何实现的问题:SPP的实现问题:head是怎样的问题:如何根据yaml文件生成模型2. train.py[^2]问题: yolov5训练方式问题: 训练策略问题: nbs是什么==问题: yolov5用的loss是怎么样的==问题：check_anchor函数问题：使用超参数进化算法[^5]1.yaml

2020-11-11 16:13:10 4145 5

原创【神经网络的训练技巧】Bag of Tricks for Image Classification with Convolutional Neural Networks

【神经网络的训练tricks】Bag of Tricks for Image Classification with Convolutional Neural Networks用卷积神经网络进行图像分类的锦囊妙计文章目录【神经网络的训练tricks】Bag of Tricks for Image Classification with Convolutional Neural Networks0.Abstract1.Introduction2.Training Precedures2.1 Basel

2020-11-10 16:42:51 455

原创【YOLOv4部分翻译】YOLOv4 对于目标检测的速度和精度的优化

YOLOv4 对于目标检测的速度和精度的优化原文1.手动翻译????;2.个人感觉对建立知识体系有帮助。1.Abstract 虽然存在着许多提高CNN精度的大量的方法，但是需要在大型数据集上对这些方法的组合做实际的测试，才能在理论上证明这些方法的合理性。以下方法只能适用于某些模型，某些问题，或者某些小规模的数据集。而有些方法，如BN和残差，则适用于大多数的模型、任务和数据集。我们假设这些方法包括Weight-Residual-Connections(WRC),Cross-Stage-Pa

2020-10-29 15:48:11 3270

原创【模型压缩】关于知识蒸馏（Distill）的一次实验

【模型压缩】关于知识蒸馏（Distill）的一次实验1. 简介知识蒸馏（Knowledge Distill）旨在使用一个复杂的教师网络（Teacher Net）来引导一个小的学生网络（Student Net）,从而达到压缩模型的目的。在普通的有监督训练中，我们一般使用一个数来作为标签，从而引导网络向这个具体的数逼近。而在知识蒸馏方法中，由于教师网络的函数已知，学生网络的函数未知。如果通过已知函数的输出来控制学生网络的函数向该函数拟合，这显然可行。2. 网络模型的定义我的思路是：先训练一个

2020-10-25 16:11:38 1259 1

原创 UNet的Pytorch实现

UNet的pytorch实现原文本文实现训练过的UNet参数文件提取码：1zom1.概述UNet是医学图像分割领域经典的论文，因其结构像字母U得名。倘若了解过Encoder-Decoder结构、实现过DenseNet，那么实现Unet并非难事。1.首先，图中的灰色箭头（copy and crop）目的是将浅层特征与深层特征融合，这样可以既保留浅层特征图中较高精度的特征信息，也可以利用深层特征图中抽象的语义信息。2.其次，在下采样过程中，特征图缩小的尺度是上一层的一半；而在上采样过程中特

2020-10-07 16:29:49 28483 28

原创 ShuffleNet的pytorch实现

ShuffleNet1.概述ShuffleNetv1ShuffleNet是一个专门为移动设备设计的CNN模型，主要有两个特性：1.pointwise(1×11\times11×1) group convolution2.channel shuffle它能够在减少计算量的同时保持精度。剪枝（pruning），压缩（compressing)，低精度表示（low-bit representing）使用pointwise group convolution来降低1×11\times11×1卷

2020-09-28 15:45:16 2197 2

原创【图像生成】GAN与DCGAN的原理及实现

GAN实现1.概述在Encoder-Decoder结构中，Encoder提取数据特征，Decoder还原数据特征。但是，Decoder输入特征的分布必须得统一分布，否则生成的图片是破碎的。这很好理解：对于MINST分类任务来说，Encoder输出的是MNIST数据集上的所有数据的特征，而这个特征分布在这个数据集上，如果我们输入的特征并不是在这个特征分布上，那么Decoder还原的数据肯定也不是在原本的数据里。就像给一个没见过狗的画家叫他画狗，你可以给他描述狗的特征，但是画家画的狗也只是一

2020-09-26 21:07:37 2130 1

原创残差网络，稠密网络与Batch Normalization

稠密网络，残差网络，Batch Normalization1.Batch NormalizationBatch Norm:保证网络每次接受的输入都是均值为0，标准差为1算法原理：输入：在一个minibatch中的xxx的值,B={x1…m}\mathcal{B}=\{x1\dots m\}B={x1…m},需要学习的参数$\gamma,\beta\$输出：${y_i=BN_{\gamma,\beta}(x_i)}\$step1:μB←1m∑i=1mxi\mu_{\mathcal{B}}\l

2020-09-09 09:55:42 1816

原创 CenterLoss的实现

论文文章目录1.为什么要CenterLoss2.如何CenterLoss3.Centerloss 的代码实现1.为什么要CenterLoss首先在定义一个简单的全连接神经网络。为了更好的可视化特征，将网络的输出层的前一层的输出变为2，使之输出只有2个特征。接着，在MNIST数据集上进行训练，边训练，边可视化输出。class SimpleFCNet(nn.Module): def __init__(self): super().__init__() self.fc1=nn.Sequ

2020-08-15 22:54:02 742

kobayashi_的博客