图像处理 | 目标跟踪 | OpenCV
文章平均质量分 88
沈子恒
计算机视觉 自然语言处理 推荐系统 架构设计
展开
-
SiamMask:视频跟踪最高精度 (中科院王强大神作品)
论文水平:CVPR 2019https://arxiv.org/pdf/1812.05050.pdf测试代码:https://github.com/foolwood/SiamMask跟踪算法近年的发展(中科院王强博士维护)。相关滤波的发展已经经过了几代迭代,发展到了瓶颈期。深度学习应该是以 SiamFC 为代表的 Siamese Tracker 脱颖而出。1. 背景今年C...原创 2019-03-16 00:16:46 · 25909 阅读 · 9 评论 -
Siamese Network (应用篇1) :孪生网络特征用于图像匹配 ICPR2016
参考论文:Siamese Network Features for Image Matching会议水平:2016 23rd International Conference on Pattern Recognition (ICPR)1. 摘要和贡献在计算机视觉应用领域,如运动结构分析、多视图3D重建、图像检索和基于图像的地位,图像匹配都扮演了重要的角色。在这篇文章中,作者采用卷积神经...原创 2018-07-26 15:56:19 · 12205 阅读 · 1 评论 -
Siamese Network (应用篇4) :块匹配中一致性特征和距离测度学习 CVPR2015
参考文章:Han X, Leung T, Jia Y, et al. MatchNet: Unifying feature and metric learning for patch-based matching[C]. computer vision and pattern recognition, 2015: 3279-3286.会议水平:CVPR 2015 (本家大哥贾扬清指导韩旭峰完成...原创 2018-07-29 15:38:08 · 2527 阅读 · 0 评论 -
Siamese Network (应用篇3) :孪生网络用于图像块匹配 ACCV2016
参看论文:Melekhov I, Kannala J, Rahtu E, et al. Image patch matching using convolutional descriptors with Euclidean distance[C]. asian conference on computer vision, 2016: 638-653.会议水平:ACCV 2016,供稿单位:...原创 2018-07-29 15:08:02 · 5456 阅读 · 4 评论 -
Siamese Network (原理篇)
1. Siamese Network 用途 Siamese网络是一种相似性度量方法,当类别数多,但每个类别的样本数量少的情况下可用于类别的识别、分类等。传统的用于区分的分类方法是需要确切的知道每个样本属于哪个类,需要针对每个样本有确切的标签。而且相对来说标签的数量是不会太多的。当类别数量过多,每个类别的样本数量又相对较少的情况下,这些方法就不那么适用了。其实也很好理解,对于整个数据集...原创 2018-07-26 10:26:48 · 13176 阅读 · 1 评论 -
MatConvnet中集成的损失函数(孪生网络的思考)
参看网址:https://www.baidu.com/?tn=94855285_hao_pg这篇博客主要记载了利用MatCovnet实现孪生网络的一些问题,最核心的就是两个分支如何并到一起?反向传播如何设计?相比Keras、caffe、TensorFlow;matconvnet推动的人太少了,整个社区也非常冷清,不得不说这是matlab公司的眼观不够啊..1. 问题#253的解决方案...原创 2018-07-28 23:41:49 · 4265 阅读 · 0 评论 -
CFNet:End-to-end representation learning for Correlation Filter based tracking
论文题目:End-to-end representation learning for Correlation Filter based tracking, CVPR2017论文主页:http://www.robots.ox.ac.uk/~luca/cfnet.html源码链接:https://github.com/bertinetto/cfnet相关推导:https://blog.csdn.ne...原创 2018-07-06 21:09:07 · 3479 阅读 · 2 评论 -
SiamNet: 全卷积孪生网络用于视频跟踪
参考论文:Fully-Convolutional Siamese Networks for Object Tracking算法主页:http://www.robots.ox.ac.uk/~luca/siamese-fc.html code:https://github.com/bertinetto/siamese-fc 1. 网络结构及摘要图一 SiamNet 网络结构。 搜索...原创 2018-07-05 15:39:58 · 10364 阅读 · 0 评论 -
ImageNet大规模视觉识别竞赛 ILSVRC 2015-VID数据集
数据主页:http://bvisionweb1.cs.unc.edu/ilsvrc2015/download-videos-3j16.php#vidObject detection from video 视频中的目标检测,简称VID。目前官方已经完全开放了数据集包括3862 snnipets用于训练,555 snippets用于验证, 937 snippets用于测试。数据下载地址:http://...原创 2018-07-11 15:43:29 · 30851 阅读 · 31 评论 -
关于DCF(判别相关滤波器)的闭式解详细推导
论文题目:High-Speed Tracking with Kernelized Correlation Filters 作者主页:ht://wtpww.robots.ox.ac.uk/~joao/circulant/参考博文:https://blog.csdn.net/discoverer100/article/details/538355071. 从岭回归开始推导online training...原创 2018-07-10 21:31:16 · 4663 阅读 · 0 评论 -
DAGNN:有向无环图神经网络
1.综述:DagNN是用来代替SimpleNN的CNN wrapper。它是面向对象的,并且允许采用有向无环图构建神经网络。与SimpleNN相比,DagNN速度有点慢但是更加灵活。一个DAG对象包括以下数据成员: layers: 神经网络层 vars: 网络变量 params: 网络参数 meta: 额外的补充信息 同时,DAG还包括有一些临时的数...原创 2018-07-16 23:08:23 · 7699 阅读 · 0 评论 -
DCFNET: DISCRIMINANT CORRELATION FILTERS NETWORK FOR VISUAL TRACKING
这个工作是中科院王强博士的工作,也是第一个将特征提取网络和协同滤波网络级联风闸UN赶到一起进行端到端训练的文献,在后续先后出现了CREST、CFNet、FlowNet with temporal and spatial atttention等。1. 论文的意义判别滤波器目前是在线目标跟踪领域非常主流的方法。当前的发展方向主要是:在传统DCF基础之上进行多核等研究融合深度学习,从最开始的训练深度特征...原创 2018-07-02 16:17:59 · 5256 阅读 · 1 评论 -
Unet项目解析(7): 模型编译-优化函数、损失函数、指标列表
项目GitHub主页:https://github.com/orobix/retina-unet参考论文:Retina blood vessel segmentation with a convolution neural network (U-net)1. 模型编译model.compile(optimizer='rmsprop',loss='categorical_crossentropy',...原创 2018-06-16 23:00:18 · 28242 阅读 · 3 评论 -
Unet项目解析(6): 图像分块、整合 / 数据对齐、网络输出转成图像
项目GitHub主页:https://github.com/orobix/retina-unet参考论文:Retina blood vessel segmentation with a convolution neural network (U-net)1. 训练数据1.1 训练图像、训练金标准随机分块主代码:# 训练集太少,采用分块的方法进行训练def get_data_training(DR...原创 2018-06-16 21:06:03 · 10211 阅读 · 4 评论 -
Unet项目解析(5): 数据封装、数据加载、数据显示
项目GitHub主页:https://github.com/orobix/retina-unet参考论文:Retina blood vessel segmentation with a convolution neural network (U-net) Retina blood vessel segmentation with a convolution neural network (U-ne...原创 2018-06-15 20:59:04 · 6841 阅读 · 2 评论 -
SegNet 语义分割网络以及其变体 基于贝叶斯后验推断的 SegNet
HomePage: http://mi.eng.cam.ac.uk/projects/segnet/SegNet Paper: https://www.computer.org/csdl/trans/tp/2017/12/07803544.htmlDropout as Bayesian Paper: http://mlg.eng.cam.ac.uk/yarin/PDFs/NIPS_2015_de...原创 2018-06-08 18:21:18 · 4989 阅读 · 0 评论 -
Siamese Network (应用篇2) :孪生网络用于图像块匹配 CVPR2015
参考论文:Zagoruyko S, Komodakis N. Learning to compare image patches via convolutional neural networks[J]. computer vision and pattern recognition, 2015: 4353-4361.会议水平:CVPR20151. 摘要 及 目的作者研究了如何从图像数...原创 2018-07-26 22:57:11 · 21790 阅读 · 2 评论 -
Siamese Network (应用篇5) :孪生网络用于跟踪 CVPR2016
参看论文:Tao R, Gavves E, Smeulders A W, et al. Siamese Instance Search for Tracking[J]. computer vision and pattern recognition, 2016: 1420-1429.会议水平:CVPR2016投稿单位:https://ivi.fnwi.uva.nl/quva/ 弗吉尼亚理工...原创 2018-07-31 00:27:26 · 14158 阅读 · 1 评论 -
tf.nn.conv2d() / tf.nn.depthwise_conv2d() 和 Batchsize效益
1. 卷积函数tf.nn.conv2d() tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=True, data_format='NHWC',dilations=[1, 1, 1, 1], name=None)对于给定的4-D张量输入,利用给定的filter执行2-D卷积运算。...原创 2019-01-14 23:48:35 · 12930 阅读 · 0 评论 -
窥探黑盒-卷积神经网络的可视化
这是笔者第N+1次听到专家说,深度学习模型是“黑盒”。这个说法不能说他对,也不能说他错。但是这句话从专家那里说出来,感觉就有点不严谨了,想必专家应该长时间不在科研一线了... 对于某些类型的深度学习模型来说,确实通过可视化中间节点很难获取到直接判别的有效信息,但对于卷积神经网络来说,可不是这样子的。 因为卷积神经网络学习到的表示 learned representation 非常...原创 2018-12-18 19:30:36 · 9772 阅读 · 7 评论 -
特征层次分析、视觉特征语义探索(微调+预训练)
1. 关于卷积运算、密集连接层、池化与小样本密集连接层与卷积层的根本区别在于,密集连接层从输入特征中学到的是全局模式,在计算机视觉领域对应着的是高级语义特征(全局模式就是涉及所有像素的模式,如 狗,耳朵,向日葵等)。卷积层学到的是局部模式,学到的就是输入图像二维图像小窗口中发现的模式,对应低级语义特征(局部模式就是卷积覆盖的区域,3*3,5*5...,如边缘、纹理等)。正是因为这样的特性,...原创 2018-12-16 22:36:45 · 11404 阅读 · 1 评论 -
自编码器深度分析+定制特征描述子构建初探
1. 关于tailored 特征描述子 自从深度学习的繁荣,利用自编码器、孪生网络、对抗网络采用数据驱动的形式设计tailored 特征描述子 成为了计算机视觉领域发展的重要推动力, 这不仅大大削弱了特征工程的压力,而且降低了相关领域学者对于数学基础的要求。 本博文重点在于介绍自编码器在tailored feature方面的潜力。2. 什么是自编码器(Autoencoder)...原创 2018-11-26 12:06:09 · 2391 阅读 · 2 评论 -
透彻理解RPN: 从候选区域搜索到候选区域提取网络
在目标检测、目标跟踪领域,提取region proposal都是最基本环节。本文概述了从 sliding window 到 selective search, 然后升级到 region proposal network的过程。 核心在于理解 selective search算法 和 region proposal network的设计思想。1. 从sliding windo...原创 2018-10-30 16:33:47 · 33382 阅读 · 6 评论 -
FPN(Feature Pyramid Network)多尺度目标检测方案
参考论文:Feature Pyramid Networks for Object Detection会议水平:CVPR 2017开源代码:https://github.com/unsky/FPN1. 多尺度目标检测问题CNN网络对于位置变化的适应性很强,但是对尺度变化的表现很差,所以检测问题基本都要考虑尺度怎么处理。那么首先来看一幅非常具有代表性的图,这张图涵盖了目前很多检测问题在...原创 2018-10-06 00:35:19 · 10438 阅读 · 2 评论 -
Spatial Pyramid Pooling(空间金字塔池化)-变尺度CNN训练
1. 需求创造好的产品,产品拓宽原始的需求当前的深度神经网络一般都需要固定的输入图像尺寸(如224*224). 这种需求很明显是人为的,潜在性的弊端会降低识别精度(为了使图像尺寸相同,一定会涉及到图像的比例/非比例放缩,这就引入了尺度误差和形变误差)。何凯明师兄的这项工作主要是讲多分辨率搜索的思想融入到了现有的深度网络中,从而实现了多尺度网络的训练以及识别,进而提升了图像分类和目标检测的精度(...原创 2018-09-08 16:13:37 · 26371 阅读 · 0 评论 -
形变立体跟踪-基于稠密运动估计和力学仿真(1)
参考文献:Real-time target tracking of soft tissues in 3D ultrasound images based on robust visual information and mechanical simulation期刊水平:MIA, medical imaging analysis 图一:作者方法的计算流程图。深色的表示数据的输入和输出;...原创 2018-08-23 00:01:02 · 1809 阅读 · 0 评论 -
形变块匹配跟踪(2):配准跟踪与几何约束_md
参看论文:Fast and robust 3D ultrasound registration – Block and game theoretic matching期刊水平:Medical imaging analysis (MIA)投稿单位:伊拉斯谟医学院 计算医学中心文章作者设计了一种全局稠密块匹配的跟踪算法,原理是序列配准,核心是几何约束下的outliers reject策略。...原创 2018-08-12 20:00:10 · 1521 阅读 · 0 评论 -
图像检索:CNN对Hash组算法的颠覆
参看论文:Liu H, Wang R, Shan S, et al. Deep Supervised Hashing for Fast Image Retrieval[C]. computer vision and pattern recognition, 2016: 2064-2072.会议水平:CVPR2016供稿单位:中科院计算所 (中科院计算所、自动化所都是做图像处理的神一样的单位...原创 2018-08-02 17:47:32 · 6484 阅读 · 0 评论 -
深度网络模型裁剪和发布正规化
1.导读关于Matconvnet中模型发布与共享的思考:https://blog.csdn.net/shenziheng1/article/details/81316760前面讨论了,如何利用vl_simplenn应用训练好的模型。有一些朋友问我,明明可以直接通过net.val评估函数进行处理,为什么还要单独发布模型,是不是多此一举?其实,采用模型直接进行评估,或者采用网络裁剪后应用,...原创 2018-08-01 23:48:08 · 2621 阅读 · 0 评论 -
形变块匹配跟踪(1):配准跟踪与几何约束_bg
参看论文:Fast and robust 3D ultrasound registration – Block and game theoretic matching期刊水平:Medical imaging analysis (MIA)投稿单位:伊拉斯谟医学院 计算医学中心文章作者设计了一种全局稠密块匹配的跟踪算法,原理是序列配准,核心是几何约束下的outliers reject策略。...原创 2018-08-10 15:09:29 · 1976 阅读 · 0 评论 -
利用MatConvNet进行孪生多分支网络设计
前面提及到了利用vl_nndist作为多分支网络的特征测度函数,将多个网络的局部输出融合到一起。参见博客:https://blog.csdn.net/shenziheng1/article/details/81263547。 很多文章中也提及到了,除了采用显式的距离测度函数,我们还可以使用全连接层进行设计,其中关键的一环就是如何将多个分支网络的输出拼接成一个输出。Matconvnet中已经开发了这...原创 2018-08-01 16:44:35 · 3676 阅读 · 3 评论 -
Siamese Network (应用篇6) :孪生网络用于图像块匹配 CVPR2017
参考论文:L2-Net: Deep Learning of Discriminative Patch Descriptor in Euclidean Space会议水平:CVPR2017供稿单位:中科院自动化所1. 摘要 及 目的利用卷积神经网络在欧式空间下学习高效性能的描述子 descriptor。作者的方法在四个方面与众不同,1.我们提出了一种渐进的抽样策略,使网络能够在几次的...原创 2018-07-31 23:34:07 · 9299 阅读 · 0 评论 -
DeepMatching文献总结:图像拼接、图像匹配、图像检索
1. 导读结合(卷积)神经网络的测度学习,适用于图像拼接image stitching、图像立体匹配 image stereo matching、图像检索image retrieval。 当前三个方向都非常火热,落地项目也很多。文献主要来源于实验室师兄galad-loth维护的DeepMatching:https://github.com/galad-loth/DeepMatch。因为我也...原创 2018-07-31 14:37:15 · 11401 阅读 · 6 评论 -
Unet项目解析(4): ./src/RetinaNN_predict.py
项目GitHub主页:https://github.com/orobix/retina-unet参考论文:Retina blood vessel segmentation with a convolution neural network (U-net) Retina blood vessel segmentation with a convolution neural network (U-...原创 2018-06-15 16:05:31 · 5218 阅读 · 8 评论 -
Unet项目解析(3): run_testing.py
项目GitHub主页:https://github.com/orobix/retina-unet参考论文:Retina blood vessel segmentation with a convolution neural network (U-net) Retina blood vessel segmentation with a convolution neural network (U-ne...原创 2018-06-14 20:10:03 · 1889 阅读 · 0 评论 -
运动目标检测_单高斯背景建模
1.运动目标背景建模背景建模也称为背景估计,其主要目的是根据当前的背景估计,把对序列图像的运动目标检测问题转化为一个二分类问题,将所有像素划分为背景和运动前景两类,进而对分类结果进行后处理,得到最终检测结果。比较简单的获取背景图像的方法是当场景中无任何运动目标出现时捕获背景图像,但这种方法不能实现自适应,通常仅适应于对场景的短时间监控,不能满足智能监控系统对背景建模的要求。背景减除法的原创 2017-03-08 21:25:10 · 20428 阅读 · 8 评论 -
目标跟踪:CamShift算法
1.前言camshift利用目标的颜色直方图模型将图像转换为颜色概率分布图,初始化一个搜索窗的大小和位置,并根据上一帧得到的结果自适应调整搜索窗口的位置和大小,从而定位出当前图像中目标的中心位置。camshift的核心步骤仍然是Meanshift,只是在距离相似性度量的基础之上,又增加了图像灰度相似性的度量。两者共同作用,实现了目标的跟踪。2.MeanShift原创 2017-03-17 22:23:39 · 25646 阅读 · 14 评论 -
基于暗通道优先算法的去雾应用Matlab
理论见博客:http://www.cnblogs.com/changkaizhao/p/3266798.htmlhttp://www.cnblogs.com/Imageshop/p/3281703.html由于课程作业的需要,仅仅进行简单研究。1.主函数clc;clear all;close all;J = imread('4.jpg');J = doubl原创 2017-02-24 22:53:41 · 20676 阅读 · 11 评论 -
结构张量用于区分平坦、边缘、角点区域
1.结构张量原理此处所说的张量不是相对论或黎曼几何里的张量,黎曼几何的张量好多论文都叫张量场了。也不是数学界还没研究明白的对矩阵进行扩展的高阶张量,主要是张量分解。这里的结构张量就是一个矩阵,一个对图像像素进行组织的数据结构而已。像素组织而成的矩阵如下:这个公式太常见了,在harris角点检测中就用到了。其中Ix,Iy就是原对原图像在x和y方向求得的偏导。然后求矩阵E的原创 2016-10-24 11:27:44 · 5498 阅读 · 4 评论 -
深度理解高斯滤波器
1.高斯滤波器综述 高斯滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器。高斯平滑滤波器对于抑制服从正态分布的噪声非常有效。一维零均值高斯函数为: g(x)=exp( -x^2/(2 sigma^2)其中,高斯分布参数Sigma决定了高斯函数的宽度。对于图像处理来说,常用二维零均值离散高斯函数作平滑滤波器。 高斯函数具有五个重要的性质,原创 2016-03-28 16:21:16 · 16967 阅读 · 0 评论