最近,转到了施工场景下的行为识别领域。该应用领域在技术上可拆分为两部分:视频跟踪和行为识别。这一周密集调研了文献,发现着实是一个大坑。其中的视频跟踪最近的各頂会论文出现最多的是单目标跟踪,而我们要解决的确是多目标跟踪,最近出的较好的能实用性的是deepSort;真实的施工场景中摄像头的远近,拍摄的遮挡,工人服装的统一,重叠,违规动作幅度的大小等都是巨大的挑战;行为识别方面最近出的论文较多,能实用性的目前敲定ECO模型;在跟踪过程中某一个工人的时空管道数据的抽取也是一个难题等等。无论如何,这块硬骨头得啃下来。
行为识别模型的训练一般是用摄像头采集某一个动作大概2-3秒的视频,然后将这些小视频打上行为标签用于训练;在测试中得结合视频跟踪出某一个目标,再抽取该目标的时空管道数据,主要数据的抽取中背景也很重要。
接下来,采集数据。带着4个工大本科生开启了为期10天的数据采集体验。为了提神效率,笔记本搭载了3个仅有的摄像头不同角度的抓取数据。充分考虑光照变化、场景变化、工人高低、行为夸张、拍摄角度等,进行不同组合来抓取行为视频数据。感谢4个本科生,这10天共收集了640个小视频以及测试用的demo。
抓取数据借用OpenCV,的代码如下:
#include "opencv2/opencv.hpp"
#include <iostream>
#include <iomanip>
#include <windows.h>
#define KEY_DOWN(VK_NONAME) ((GetAsyncKeyState(VK_NONAME) & 0x8000) ? 1:0) //必要
using namespace std;
using na