weixin_42923416的博客

在卡尔曼滤波里，目标的当前状态估计考虑2个输入。一个是根据过去的状态估计当前的状态。如过去的位移为[0,3,6,9]，则当前的状态估计就应该为12。一个是当前时刻的观测状态（即传感器读数、跟踪里的检测器检测到的位置等），因此实际中观测值是带有噪声的，不是百分百精准的。如需要估计物体的位移，则影响位移的因素有上一刻的位移，速度，外力(加速度)等。现在先忽略外力。根据过去的状态估计当前的状态如考虑状态向量xxx如下x=[位移速度]x = \left[ \begin{matrix} 位移\\

由CenterNet伸展过来，通过在原CenterNet模型上，输入增加4通道(上一帧图像和检测结果)，输出增加2通道(位置偏移)。通过位置偏移和上一帧的对象关联起来，实现多目标跟踪CenterNet一个Anchor free的目标检测模型，把目标视为一个点。当训练时的位置label为以物体中心为均值的高斯分布(方差与物体大小有关)。当存在多个对象时，其label取较大值的那个。因此其labelY∈[0,1]WR×HR×CY\in [0,1]^{{W\over R} \times {H \over R

多目标跟踪的几个难点：重识别对象模糊，运动预测相邻帧关联里，存在对象的漏检、误检、拥挤等(导致关联的精度在过去两年里只提高了2.4% MOT16(相对论文时间))贡献：利用检测器的回归Head处理多目标跟踪；提出re-ID模型(Siamese Network)和运动模型(运动估计)整体框架框架即为Faster-RCNN，通过一些策略来实现目标跟踪。其本身就是一个二阶段的检测框架。对于第 t 帧，按照 t - 1帧的位置(boxt−1box_{t-1}boxt−1​)，当作ROI提

Paper：https://arxiv.org/pdf/1806.03589.pdfCode：https://github.com/JiahuiYu/generative_inpainting普通CNN在inpainting的弊端普通卷积的权重共享无差别的滑过所有pixels或feature。并不会区分是valid的或是带修补区域的，一并做统一处理。而待修补区域部分本身是没有语义信息的，是invalid，和已知区域做一样的处理是不合适的。通常会导致视觉伪影，颜色差异，模糊和明显的边缘反应。Part

Paper：https://arxiv.org/pdf/1801.07892.pdfCode：https://github.com/JiahuiYu/generative_inpainting/tree/v1.0.0基于S. Iizuka, E. Simo-Serra, and H. Ishikawa. Globally and locally consistent image completion. ACM Transactions on Graphics (TOG), 36(4):107, 201

CVPR2017：High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesisproject website：http://www.harryyang.org/inpainting/code：https://github.com/leehomyc/Faster-High-Res-Neural-Inpainting参考博客：https://www.cnblogs.com/wenshinlee/p/12444785.h

最开始的SiamFC等。是基于相似性的目标跟踪。这个和传统方法里的KCF等是很像的。输入的template和Search分别输入到同一个网络里提取特征。而后做Correlation找max response。这种基于相似性的方法带来的2个限制平移不变性：因为template是通过滑窗在Search上求取响应。而padding会破坏这种平移不变性。但是不加padding就限制了网络深度。对称性：Template和Search互换后应该具有相同的Response。因此SiamFC网络很浅，训练时S

总结三：这部分应该不能算光流部分了，主要是一些光流在其他应用的辅助等。Semantic Flow for Fast and Accurate Scene Parsing论文：https://arxiv.org/pdf/2002.10120.pdf代码：github.com/donnyyou/torchcv主要是一个针对于分割的上采样方法，即大多数分割网络的上采样部分是直接的双线性上采样。这样子做的缺陷就是边缘部分不够精确（就像小图直接放大一样）。针对这个问题提出一个上采样模块FAM（Flow Ali

基于深度学习的无监督光流算法UnFlow: Unsupervised Learning of Optical Flow with a Bidirectional Census Loss论文：https://arxiv.org/pdf/1711.07837.pdf无监督的主要思路：向前遍历光流向量再向后遍历应该回到同一个位置，根据亮度不变假设设计loss。网络结构：输入为2帧，分别计算前向光流和方向光流。...

之前实习时接触过一段时间光流，本意是想用于辅助跟踪的。由于siammask框架自带分割功能，因此用稠密光流也是能跟踪的，虽然最终没用上。。就像光线暗时，2个黑衣人并列走着，距离太远，人显得太小。。最终试了几种光流都不能跟好。传统方法：OpenCV相关API： Link光流法假设前提：同一目标在相邻帧之间的亮度恒定相邻帧之间物体的运动微小，即短距离运动基本约束方程：根据假设前提1，...

可能涉及的点。。图像处理中，如一些去雾去雨算法等，直接在原图上操作的话计算量太大。因而常常下采样原图后再进行处理，处理完后再进行上采样恢复。但直接上采样，如最近邻，双线性等。都会有一定程度的不对齐。paper1:Joint Bilateral Upsampling即下采样处理完后再上采样的过程中，利用原图(大分辨率)的信息来辅助恢复上采样。f和gf和gf和g为双边滤波核，I~\tilde I...

从对图像增强什么都不知道开始吧。随便搜搜，看的有些乱。随便从一篇CNN论文开始吧。几个概念：来源：https://zhidao.baidu.com/question/589306011787844365.htmlISO：CCD或者CMOS感光元件的感光速度。ISO数值越高就说明该感光元器件的感光能力越强。曝光：是指被摄影物体发出或反射的光线，通过照相机镜头投射到感光片上。ISO的计算公式...

论文标题：EfficientDet: Scalable and Efficient Object Detection建立一个高效且高精度的模型原作者的目的就是如何建立一个精度高且效率高的模型，要建立一个这样的模型需要面临2个挑战。  1.efficicient multi-scale feature fusion, 传统的多尺度特征融合（例如FPN）只是简单的上采样，然后相加。各层...