Hibercraft的博客

极简笔记 An Image is Worth 16x16 Words: Transformaers for Image Recognition at Scale原文地址https://arxiv.org/abs/2010.11929本文是第一篇将Transformer结构运用在图像分类任务的paper，方法叫做ViT(vision transformer)做法也非常的简单，把输入图片切成多个patch，然后将各个patch拉成向量加上position embedding输入到transformer结

极简笔记 语义分割中的self-attention变种模型Self-attention模块在近年来取得了比较不错的成功，其核心公式就是：yi=1C(x)∑∀jf(xi,xj)g(xj)y_i=\frac{1}{\mathcal{C}(x)}\sum_{\forall j}f(x_i,x_j)g(x_j)yi​=C(x)1​∀j∑​f(xi​,xj​)g(xj​)与以往的卷积网络项目，self...

极简笔记 多篇weakly supervised segmentation笔记Backtracking ScSPM Image Classifier for Weakly Supervised Top-down Saliency文章主要思想是通过遮挡部分区域，观察分类confidence的改变来决定pixel-level的预测。文章没有使用CNN结构，而是使用SIFT特征+稀疏编码+SVM进...

极简笔记 From Image-level to Pixel-level Labeling with Convolutional Networks本篇文章是2015年的一篇依赖image-level标注的语义分割弱监督文章。文章主要流程是先让图片经过一个普通CNN，得到一个score map（相当于分割网络最后的预测结果，几个类别就几个channel），然后将每个类别的score进行集合，这里作...

极简笔记 The Lovasz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks本文提出一种Lovasz-Softmax loss，专门正对分割任务的评价指标IoU进行优化设计。由于本文涉及到的数学概念超出所学知识，因...

极简笔记 Multi-Scale Context Intertwining for Semantic Segmentation本文提出MSCI语义分割算法，在PASCAL VOC 2012 test集上目前是top5算法（第一名是用了JFT的deeplabv3+）。区别于传统FCN架构，本文的分割结果融合了网络特征与传统分割算法，通过LSTM进行融合。文章大致流程如下：利用传统分割算法预...

极简笔记 A Variational U-Net for Conditional Appearance and Shape Generation本文利用条件变分自编码器（CVAE），输入一张人体图片和目标姿态，生成目标姿态的合成人体图片，并保留原图的appearance信息。 记输入图片xxx, 姿态信息yyy, 表观信息zzz, 网络结构如下图：VAE部分通过输入图像和图像中对应姿态学习a...

极简笔记 A Survey on Transfer Learning论文地址：https://ieeexplore.ieee.org/document/5288526/本文是香港科技大学杨强教授最出名的迁移学习survey。文章发表于2010年，对深度学习时代之前的传统迁移学习方法进行了总结归纳。本篇笔记侧重结合survey观点（并非原文翻译），梳理迁移学习概念，文章涉及的相关算法请阅读原...

极简笔记 CornerNet: Detecting Objects as Paired Keypoints论文地址：https://arxiv.org/abs/1808.01244文章核心提出利用关键点定位方式定位物体bbox的左上角点和右下角点，从而完全摆脱利用anchor提取proposal的two stage检测框架。 文章使用网络结构如图所示，首先使用hourglass作为b...

极简笔记 RMPE: Regional Multi-Person Pose Estimation论文地址：https://arxiv.org/abs/1612.00137本篇是上交AlphaPose文章，采用自上而下方法，目前是state-of-art，比face++在COCO2017中champion模型高了0.2个百分点。 文章使用网络的主要架构是先RPN检测人体，然后对ROI经...

Unsupervised Discovery of Object Landmarks as Structural Representations本文的核心是提出一种无监督的方法检测物体的关键点。这个具有语义性质的关键点不是人为定义的而是自动学得的。 文章主要思路是利用autoencoder模型，在中间部分添加各种loss约束引导检测的关键点heatmap的生成。主要架构见上图，encod...

极简笔记 segmentation + transfer learning survey第二弹@(academic)[极简笔记]Deep Extreme Cut: From Extreme Points to Object Segmentation本文的思路非常简单，标注分割对象的极点（最上方点，最下，最左，最右），生成4 channel的极点位置高斯响应图，与输入图片concat...

极简笔记 Weakly Supervised Instance Segmentation using Class Peak Response本文是一篇弱监督的工作，利用分类网络做实例分割任务。主要思路是利用网络输出的响应图，取局部极大值之后反向计算（这个过程中分辨率也在变大），得到与这个局部极大值相关的区域信息，再结合类别信息等，从利用传统算法求出的segmentation mask里面进行打...

极简笔记 Instance Segmentation Survey本篇包含多篇实例分割论文笔记，因为大多都是较为早远的论文，因此每篇笔记奉行极简原则，在叙述大意的同时，尽量缩短篇幅。Instance-aware Semantic Segmentation via Multi-task Network Cascades (MNC)Jifeng Dai, Kaiming He较早的实例分割...

极简笔记 Taskonomy: Disentangling Task Transfer Learning论文地址：https://arxiv.org/abs/1804.08328本文是CVPR2018 best paper，核心是提出了一种计算不同任务相似性的方法，以及利用不同任务相似性，在少量训练数据条件下进行多任务组合学习的分配方法。文章的终极目标，是通过计算任务相似性，进一步计算...

极简笔记 DeepLab系列比较之前有写deeplabv3+的论文笔记，因为最近要写调研报告，就大致浏览了deeplab系列的论文，了解发展过程。本篇包含了很多其他笔记的摘要，会在最后列出。DeepLabv1：https://arxiv.org/pdf/1412.7062v4.pdf 首次提出atrous conv和网络最后加CRF的操作。 - 主要是对原有VGG网络进行了一些变换...

极简笔记 Context Encoding for Semantic Segmentation论文地址：https://arxiv.org/abs/1803.08904文章核心贡献提出EncNet结构用于语义分割。其中主要有两点改进，在encoder-decoder结构最深层处加入context encoding module，同时引入SE-loss计算全图分类误差。 context...

极简笔记 Pyramid Attention Network for Semantic Segmentation本文核心提出PAN，提出Feature Pyramid Attention module（FPA）和Global Attention Upsample module（GAU），引入注意力机制用于语义分割。 文章认为现有分割ASPP模型会导致grid artifact；以及pyr...

极简笔记 Fully Convolutional Adaptation Networks for Semantic Segmentation文章核心贡献，提出FCAN，探究利用GTA5游戏数据集来训练语义分割网络，并将此网络迁移到真实路况场景下进行测试。 FCAN分为两部分，Appearance Adaptation Networks（ANN）和Representation Adapta...

极简笔记 Residual Attention Network for Image Classification论文地址：https://arxiv.org/abs/1704.06904文章核心贡献，提出残差注意力模块结构，提升在ImageNet分类问题上的性能。 Attention机制听起来很玄乎，在这儿其实很简单，就是feature map多出一个分支去预测权重mask，然后把这...