u013368992的博客

原创 Face Anti-spoofing 简记-FaceForensics++: Learning to Detect Manipulated Facial Images

创新点DeepFakes, Face2Face, FaceSwap 建立的假脸数据库。总结假脸数据库：https://github.com/ondyari/FaceForensics1,000个视频中的510,207图片。包含segmentation标记

原创 ANOMALY简记-ANOMALY LOCALITY IN VIDEO SURVEILLANCE

创新点提出了一个带有标记的异常检测库总结http://imagelab.ing.unimore.it/UCFCrime2Local

原创 ReID简记-Discovering Underlying Person Structure Pattern with Relative Local Distance for Person Re-id

创新点reid中的空间信息的探究总结几个图就明白了网络结构：在正常的GAP的同时，加了一个分支。水平方向的池化，(2048,8,8)->(2048,8,1)。转换维度（8，2048，1），相当于把行人分为8个部分。每个部分互相做cos距离，得到（8，8）特征。在计算分类和损失的时候，作者还是需要reshape了一下。“To this we reshape a matrix...

原创 Segmentation简记-Joint shape learning and segmentation for medical images

Segmentation简记-Joint shape learning and segmentation for medical images using a minimalistic deep network创新点1.In this paper, we propose a multi-task learning framework with the main aim of exploitin...

原创 Dataset简记-CheXpert: A Large Chest Radiograph Dataset with Uncertainty Labels and Expert Comparison

labeler：

原创 Dataset简记MIMIC-CXR: A LARGE PUBLICLY AVAILABLE DATABASE OF LABELED CHEST RADIOGRAPHS

原创 Segmentation简记-Optical Flow augmented Semantic Segmentation networks for Automated Driving

创新点1.使用了光流信息2.基于RGB和光流信息，设计了四种结构总结四种结构的示意图：很明了论文作者实验了几种光流表示方法，结论是：三通道输入：Color wheel ,二通道输入：大小和方向，一通道输入：大小最后从实验看，two stream 优势比较明显。...

原创 Segmentation简记-Hybrid Task Cascade for Instance Segmentation

创新点1.Hybrid Task Cascade(HTC)总结基于maskrcnn和cascade rcnn的改进。论文中提出的几种cascade结构：a，b结构就不细说了。分析一下c和d。c较ab多出了一个结构，就是mask的cascade的特征图的流动。算法结构如下：上一个阶段的mask经过1X1 的卷积校准，与特征图做点加，然后经过4个卷积得到当前阶段的mask。d在此基础...

原创 Density简记-Scale-Aware Attention Network for Crowd Counting

创新点1.多分支尺度感知注意网络2.尺度感知的注意力机制3.尺度感知的loss4.新的方法估计图片中人头尺寸总结基础网络：图片-》backbone-》回归（密度估计）-》双线性上采样（尺寸相同）loss：欧式距离MCNN产生密度图的GT，并用高斯核模糊图片。尺寸感知的软注意力机制：Mk表示对应密度图的每个像素的权重。Dk表示第k个密度估计图Mk是如何产生的呢？是back...

原创 Segmentation简记-Multi-stream CNN based Video Semantic Segmentation for Automated Driving

创新点1.RFCN & MSFCN总结网络结构如图所示。输入视频得到图像分割结果。简单粗暴

原创 Image Transformation can make Neural Networks more robust against Adversarial Examples

Image Transformation can make Neural Networks more robust against Adversarial Examples创新点1.旋转解决误分类总结可以说简单粗暴有效

原创 Detection简记3-Region Proposal by Guided Anchoring

创新点1.新的anchor 分布策略：Guided Anchoring2.feature adaption module，根据潜在的anchor精调特征总结Guided Anchoring：流程如图所示特征图F1接两个分支：位置预测分支产生物体可能存在的位置的概率图，形状预测分支预测物体的形状，独立于位置。根据两个分支的输出，得到anchor。位置预测分支：1X1的卷积+sigmod...

原创 Face Anti-Spoofing简记2-GFA-CNN

Face Anti-Spoofing简记2-Learning Generalizable and Identity-Discriminative Representations for Face Anti-Spoofing创新点Total Pairwise Confusion (TPC) lossGFA-CNN总结网络结构如图所示人脸识别和人脸防伪的多任务网络。总的loss：T...

原创 Face Anti-Spoofing简记1-Enhance the Motion Cues for Face Anti-Spoofing using CNN-LSTM Architecture

创新点1.使用LSTM-CNN 结构学习时间特征和动作信息2.欧拉运动放大法作为面部表情的预处理3.注意力机制用于在LSTM中选择关键帧4.合并的loss总结表情放大：《 Eulerian video magnification for revealing subtle changes in the world》提出了欧拉运动信息放大方法，用于揭示视频中不显眼的行为信息。上图：从图...

原创 Attribute Recognition简记1-Video-Based Pedestrian Attribute Recognition

创新点1.行人属性库2.行人属性识别的RNN框架及其池化策略总结先看看行人属性识别RNN结构：backbone是ResNet50,输出是每一帧的空间特征。这组特征被送到两个分支，分别是空间池化和时间建模。最后两种特征拼接。然后分类（FC）。LSTM关注帧间变化。受cvpr《Recurrent Convolutional Network for Video-Based Person Re...

原创 Segmentation简记5-AuxNet: Auxiliary tasks enhanced Semantic Segmentation for Automated Driving

创新点1.分割网络为主任务，深度估计网络为辅任务2.loss的设计总结如图所示网络结构如图所示其实很容易理解。backbone是基于ResNet50分割网络是基于FCN8深度估计网络与分割网络类似，最后一层是回归深度层。最有意思的是两种任务的loss的合并。分割的loss很常见：cross entropy深度loss：mean absolute error算法一：算法二...

原创 Face Recognition简记1-A Performance Comparison of Loss Functions for Deep Face Recognition

创新点1.各种loss的比较总结很久没见到这么专业的比较了，好高兴。好像印证了一句话，没有免费的午餐。。。。ArcFace 和 Angular Margin Softmax是性能比较突出的...

原创 Detection简记2-DAFE-FD: Density Aware Feature Enrichment for Face Detection

创新点1.使用密度估计模型增强检测中的特征图总结整个流程还是很清晰的。conv1-3的特征图经过密度估计模块由检测器D1进行检测。D2-4分别是四个检测器。FFM是特征融合模块，将不同层不同大小的特征融合。FFM网络结构如下：首先使用1X1的卷积减少两组特征的厚度到128，然后使用双线性插值统一两组特征图的尺寸，然后相加。类似于cvpr2017的SSH。多尺度检测器的网络结构如...

原创 DS简记1-Real-time Joint Object Detection and Semantic Segmentation Network for Automated Driving

创新点1.更小的网络，更多的类别，更复杂的实验2. 一体化总结终于看到一篇检测跟踪一体化的文章网络结构如下：ResNet10是共享的Encoder，yolov2 是检测的Deconder，FCN8 是分割的Deconder。其实很简单，论文作者也指出：Our work is closest to the recent MultiNet. We differ by focusing ...

原创 Segmentation笔记4-Boundary-Aware Network for Fast and High-Accuracy Portrait Segmentation

创新点1.提出了BANet2.提出了refine loss总结图片引起不适。。。网络流程如下：图片经过语义分支得到1/4大小的特征图。将其上采样到原图大小，c = 1作为边界特征挖掘分支的边界注意力图。注意力图由BA loss监督。将原图与注意力图拼接，更有针对性的挖掘低水平的特征。最后在融合部分，首先将语义分支的特征图上采样原图大小，c = 1，与边界特征挖掘分支得到的特征融合获得...

原创 Post-processing简记1-Learning Pairwise Relationship for Multi-object Detection in Crowded Scenes

创新点提出了 Pairwise NMS总结pairwise nms 和普通nms（greedy NMS）的流程结果比较pairwise nms的流程还是很清晰，首先判断iou，如果小于阈值，保留检测框，否则进行下一步判断。从中可以看出，greedy nms 不擅长拥挤/遮挡严重的情形。判断是用CNN完成的，名曰“Pairwise Relationship Network”。网络结构如下：...

原创 Segmentation简记3-UPSNet: A Unified Panoptic Segmentation Network

Segmentation简记3-UPSNet: A Unified Panoptic Segmentation Network创新点总结创新点1.统一的全景分割网络总结uber的作品

原创 Segmentation简记2-RESIDUAL PYRAMID FCN FOR ROBUST FOLLICLE SEGMENTATION

创新点与resnet结合，五层/level的分割由此带来的梯度更新问题，设计了两种方案。总结有点意思。看图吧，很明了。细节图：全流程图：实验Res-Seg-Net-horz: 在UNet上堆叠5个细节图中的结构，没有上采样层。Res-Seg-Net-non-fixed: 普通方式的更新Res-Seg-Net-fixed: 每一层的更新，只依据距离它最近的一个loss。...

原创 Segmentation简记1-The Liver Tumor Segmentation Benchmark (LiTS)

创新点最主要的创新是建立了一个肝脏CT图像分割数据库。总结类似于综述加上数据库的介绍，没有细看。医学方面时候会用到。

原创 Detection简记1-Vehicles Detection Based on Background Modeling

创新点背景建模总结车辆检测还是很重要的。流程图：预处理阶段：去除各种天气，相机等的变化：雨、雾，模糊等等背景建模获得static reference background image (SRBI)方法是比较有意思的。首先引入block（块）的概念。块是矩形，是分割图片的小区域。块的ratio与图像相同。大小根据视频中第一帧第二帧的道路流量决定。道路流量由熵决定，计算公式如下。...

原创 不知道未来

这个未来是指DL的未来，也是指拉夫的未来。DLDL必须要贴近生产实际才有意义。而现在的DL，还没有成体系的进入人们的日常生活。将来在哪呢？拉夫检测，ID，分割，关键点，GAN，AotoML·····应该深入到哪个领域？惑...

原创 图像预处理与卷积的融合

思路预处理一般是均值和方差。经过卷积之后的公式是w（x-mean）/std + b最后可以得到一个卷积操作加上一个element wise 的加。总结与原始的特征图相比，精度：1e-6级别的差距速度： 现有的操作和原始的预处理加卷积操作相比，速度提升不明显甚至还要慢。囧。可能我的实验设置有问题。改天再验证吧。...

原创 ReID简记-3-3D PersonVLAD: Learning Deep Global Representations for Video-based Person Re-id

创新点1.基于视频的行人ReID方法：3D Person VLAD aggregation2.阐述了时空注意力的优势和VLAD aggregation 的重要性总结网络结构如图所示，输入时确定长度的视频。最主要的是接下来的部分。3D身体校准网络如下：此部分包含B个分支，每个分支估计一个注意力图。通过这个注意力图，可以平衡3D卷积特征。B个分支的输入都是相同的。每个分支检测一个有分辨...

原创 ReID简记-2-Spatial and Temporal Mutual Promotion for Video-based Person Re-identification

创新点（1）Refining Recurrent Unit (RRU) 关注遮挡，外观噪声和运动信息（2）Spatial-temporal Clues Integration Module (STIM) 整合时空信息（3）Multi-level Training Objective 增强上述两者能力总结网络有点复杂，真的是玩出了花。（1）RRU，可以看成时CNN的RNN化，堆叠了几个权值...

原创 ReID简记-1-A Deep Four-Stream Siamese Convolutional Neural Network with Joint V+ID

ReID简记-1-A Deep Four-Stream Siamese Convolutional Neural Network with Joint Verification and Identification Loss for Person Re-detection创新点（1）使用了四个权值共享的网络（2）设计了quartet loss总结quartet loss 感觉有点意思，有想法...