物品遗留与丢失

第一章 现状概述

目前国内外针对这类目标的识别技术大致分为三类。一是基于背景建模的被盗遗留检测：通过各种不同的方法对监控场景进行背景建模，比如混合高斯模型建模、双学习率的双背景建模等，经过背景建模，再与实时监控比较，找到可疑物，通过后续的形态学操作确定准确的目标位置。二是基于目标跟踪的被盗遗留检测：通过对监控场景的光流计算，或其他方法计算确定出运动目标，之后对这些运动目标进行持续跟踪，当某个目标的运动状态发生从运动到静止，或从静止到运动的情景时，判别是遗留或被盗。三是基于卷积神经网络的目标检测的被盗遗留检测：随着卷积神经网络兴起，基于卷积神经网络的目标识别技术取得重大突破，借此，研究者将遗留物和被盗物看作是一种特定的目标，通过卷积神经网络自动学习特征，对目标位置进行回归，最终实现被盗遗留物的检测。
目前这三类方法都有着不同的缺陷。第一类方法，特别依赖背景模型建立的好坏程度，但是在实际使用中，场景都是比较繁杂的，很难建立比较好的背景模型出来，导致会出现很多的误报和漏报问题。第二类方法，则是特别依赖目标跟踪的精度，但是在实际使用中，目标很容易存在遮挡，重叠等各种复杂的状态，很容易导致跟踪丢失或跟踪错误，最终导致误报和漏报严重。第三类方法，由于是基于目标识别的神经网络，耗时严重，很难达到实时，而且在实际使用中，遗留和被盗物大多数是比较小的目标，此类算法对于小目标的检测精度不高，导致最终相应速度慢和漏报严重的问题。
上边的方法中只有第三种用到了深度学习。

第二章 传统算法

平均背景建模、Vibe背景建模、CodeBook背景建模、gauss混合背景建模总结。
平均背景建模（AverageBackground Model）的优点是简单、计算速度快。缺点是对环境光照变化比较敏感。其基本思想是：计算M帧图像每个像素的平均值作为它的背景模型。检测当前帧时，只需要将当前帧像素值I(x,y)减去背景模型中相同位置像素的平均值u(x,y)，得到差值d(x,y)，将d(x,y)与一个阈值TH进行比较，得到输出图像值。若d(x,y)>TH,则值为1，否则为0。
ViBe是一种像素级的背景建模、前景检测算法，该算法主要不同之处是背景模型的更新策略，随机选择需要替换的像素的样本，随机选择邻域像素进行更新。在无法确定像素变化的模型时，随机的更新策略，在一定程度上可以模拟像素变化的不确定性。
参考：https://blog.csdn.net/xiao_lxl/article/details/44620495?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.add_param_isCf&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.add_param_isCf

第三章 深度学习算法

1. 2018年的一篇硕士学位论文：基于改进YOLOv2网络的遗留物检测算法研究（2017年）
   https://www.doc88.com/p-4912506060931.html
   训练数据集：VOC2007+VOC2012(20类)+COCO(80类，有背包，手提包，手提箱等。)
   测试数据集：PETS2006(复杂度不断增加的行李场景，目标只有行李)+ i-LIDS数据集+自制数据集，检测的目标只有行李和包。
   用yolov2检测出可以目标后进行跟踪，静止时间超过阈值就标记为遗留物。

2. Detection of valuable left-behind items in vehicle cabins（2017年）这个论文提出了一种利用单摄像机检测车内有价值的遗留物品的方法，用的改进的Faster R-CNN 网络。由于现实中很可能会遇到训练集中没有出现的对象，所以不进行分类，只检测（可以认为是对背景或对象的分类）。 数据分为两种，真实采集的数据+生成的。真实的是由1073个(35类)图像组成。生成方法是获取空车厢的背景图像，并从MS-COCO[15]数据集中插入随机调整大小的裁剪对象实例。这里详细介绍了这种数据增强的方法。这种方法可以检测多种目标。

3. Fusion of thermal- and visible-band video for abandoned object detection。（2012年）除了使用可见光波段相机外，还使用热相机获得的数据，只检测了包。

4. 基于机器视觉的监控视频智能处理系统。2019年硕士学位论文，用传统的方法识别物体遗留。

5. 基于深度卷积神经网络的路面遗留物检测方法，区分路面与非路面，得到路面—非路面识别模型；Step2：非路面前景模型训练，将被分为非路面的网格图片按连通区域组合成候选目标加入训练库，再次采用Deep-CNN网络模型进行训练，目标包括车辆、路面遗留物和行人。
   6.目前没有找到用深度学习做物品遗留丢失检测的程序。

第四章 孪生网络解决相似问题

1. 基于孪生网络的缺陷检测方法.
   用孪生网络检测产品的缺陷，有一个正确的样本，有缺陷的和它对比。

2. http://www.xjishu.com/zhuanli/55/201910698997.html：介绍了一种基于孪生网络的目标检测算法。

这只是针对目标检测，不涉及遗留和丢失检测。
具体如下：
1）以固定角度连续拍摄的图像作为算法的训练集和测试集，同时，从图像中找出一组不包含待检测物体的图像；
2）使用孪生神经网络来计算图像之间的相似度；
3）使用深度神经网络来分析图像中的变化目标，并进行分类，输出检测结果。
本算法包含两个网络：一个是基础网络，用来提取图像特征；另一个是目标分类及定位网络，该网络负责将找到两幅图像中，目标出现的位置，以及对目标进行分类。基础网络使用卷积神经网络来提取图像的特征，同时，结合孪生神经网络的思想来计算待检测图片和基准图片之间的相似度。分类网络就是一个全连接网络，将从两张图片中提取得到的特征值作为该网络的输入，输出就是目标物体的类别和位置。
1）、采集图像。在输电线路上安装摄像头，摄像头将定时地采集图像，各个摄像头采集的图像应该标注清楚摄像头的信息和时间信息；
2）、图像标注。使用labelimage图像标注工具，将采集到的图像中的所有鸟类目标都标注出来；
3）、数据集分析。对数据集中的正负样本数据量进行统计分析。包含目标物体的图像为正样本，不包含目标物体的图像为负样本；
3.孪生网络进行人脸相似度识别的程序较多。

第五章 基于深度学习的运动目标检测

5.1 FgSegNet
基于三重卷积的多尺度特征前景分割
一个VGG16提取特征，一个上采样的卷积网络(TCNN)把图片还原成输入大小。
训练的时候损失函数是按照前景和背景两类对每个像素点做交叉熵损失。
就是一个多尺度的U-Net网络实现前景与背景的分割。
5.2 FgSegNet_v2
是5.1的改进版本，主要是在结构上进行改进，其余部分和FgSegNet相同。