目标跟踪

原文章：http://blog.csdn.net/crzy_sparrow/article/details/7414851

    如果摄像机是固定的，那么我们可以认为场景（背景）大多数情况下是不变的，而只有前景（被跟踪的目标）会运动，这样就可以建立背景模型。通过比较当前帧和背景模型，就能轻松地跟踪目标运动情况了。这里，最容易想到的比较方式就是当前帧减去背景模型了，如opencv2.3.1里的以下函数可计算当前帧与背景之差的绝对值。

cv::absdiff(backgroundImage,currentImage,foreground);

    背景模型的建立最容易想到的就是选取一张没有目标时的图片作为背景模型，但是很多情况下，背景中往往一直会有目标在运动，比如交通监控的时候可能一直车轮滚滚，而且程序在没有经验的情况下又不会知道哪幅图片是有目标的，哪幅图片是没有目标的。好吧，我承认我说慌了，建模是我们人去建立的，是可以根据我们的感知去选择建模图片的，程序只是根据我们人为建立的模型去检测目标而已。但我也说过了，没有目标的图片可能就是很难获得，而且你肯定也觉得把仅仅一张没有目标的图片作为背景模型实在是不靠普，再怎么说也得取多张背景图片求个均值吧。于是，不难想到，我们可以截取一段目标出现相对较少的视频段（也可叫做图片序列吧。。。），然后对帧求均值，将均值图片作为背景模型。这时候的背景模型总该靠谱一点了吧。

    问题又来了，我相机是固定了，但是天气情况总是关于时间的函数吧，白天晚上的背景肯定不一样喽，另外，除了那些大楼，山，马路等不会移动的物体，背景中的物体位置可能也会随着时间变化，或移动或消失，比如说背景中的某块广告牌被风刮倒了，某棵树被砍了。。。这个时候我们就应该动态更新背景模型了。对前面的均值背景模型做个修改倒是也能解决这个问题：就是每隔一段时间重建一个背景模型。这样就会遇到几个问题：1）建模之前，保存的大量图片会占大量存储空间；2）建模时会消耗比较长的时间，此时无法跟踪目标；3）选取几帧图片建模是个问题。2）不难解决，先建立一个均值模型，记录均值模型和每一帧图片，然后每来一帧图片，求其前景目标，删除原来的第一帧图片，将当前帧背景图片插入到建模图片的末尾，更新背景模型即可。解决1）的方法是：先建立一个模型，不再保存建模图片，每来一帧，计算前景目标，用余下的背景图片直接更新原来的模型（model*N+I）/（N+1）（model为模型图片，N为建模图片数）。不过这样有一个弊端：就是随着时间的推移，背景发生了大的改变，也就是建模的图片中最后一帧与第一帧已经差别很大了，而最后一帧更接近与当前的背景，于是我们可以对建模的图片按次序赋以不同的权重，让后面的图片权重更大些。这就是本文要讲的目标跟踪算法。

    如果model是当前背景模型，cur是当前帧去除背景后的图片，则新的模型为：

modelnew = (1-a)*model+a*cur            ;a为学习率，随着时间的推移，之前的建模图片权重越来越小

opencv2.3.1里

void accumulateWeighted(InputArray src, InputOutputArray dst, double alpha, InputArray mask=noArray() )
函数实现该功能：

其参数介绍如下：

Parameters
src – Input image as 1- or 3-channel, 8-bit or 32-bit floating point.
dst – Accumulator image with the same number of channels as input image, 32-bit or 64-bit floating-point.
alpha – Weight of the input image.
mask – Optional operation mask.
The function calculates the weighted sum of the input image src and the accumulator dst so that dst becomes a
running average of a frame sequence:
dst(x, y) ← (1 − alpha) · dst(x, y) + alpha · src(x, y) if mask(x, y) = 0

用该方法实现目标跟踪的opencv代码如下，我这里把第一帧图片作为初始背景模型了：

[cpp] view plain copy print ?

1. <SPAN style="FONT-SIZE: 18px">//帧处理基类   
2. class FrameProcessor{  
3.     public:  
4.         virtual void process(Mat &input,Mat &ouput)=0;  
5. };  
6.   
7. class BGFGSegmentor : public FrameProcessor{  
8.     Mat gray;//当前帧灰度图   
9.     Mat background;//背景图，格式为32位浮点   
10.     Mat backImage;//CV_8U格式背景图   
11.     Mat foreground;//前景图   
12.     double learningRate;//学习率   
13.     int threshold;//阈值，滤去扰动   
14.     public:  
15.     BGFGSegmentor():threshold(30),learningRate(0.6){}  
16.     //帧处理函数   
17.     void process(Mat &frame,Mat &output){  
18.         //转化为灰度图   
19.         cvtColor (frame,gray,CV_BGR2GRAY);  
20.         if(background.empty ())  
21.             //第一帧   
22.             gray.convertTo (background,CV_32F);  
23.             //背景转为CV_8U格式以便求取和当前帧差的绝对值   
24.             background.convertTo (backImage,CV_8U);  
25.             //求当前帧与背景的差别   
26.             absdiff (backImage,gray,foreground);  
27.             //过滤掉前景中与背景差别不大的扰动点   
28.            cv:: threshold(foreground,output,threshold,255,THRESH_BINARY_INV);  
29.            //更新背景，output作为掩码   
30.             accumulateWeighted (gray,background,learningRate,output);  
31.         }  
32. };  
33. </SPAN>  

//帧处理基类
class FrameProcessor{
    public:
        virtual void process(Mat &input,Mat &ouput)=0;
};

class BGFGSegmentor : public FrameProcessor{
    Mat gray;//当前帧灰度图
    Mat background;//背景图，格式为32位浮点
    Mat backImage;//CV_8U格式背景图
    Mat foreground;//前景图
    double learningRate;//学习率
    int threshold;//阈值，滤去扰动
    public:
    BGFGSegmentor():threshold(30),learningRate(0.6){}
    //帧处理函数
    void process(Mat &frame,Mat &output){
        //转化为灰度图
        cvtColor (frame,gray,CV_BGR2GRAY);
        if(background.empty ())
            //第一帧
            gray.convertTo (background,CV_32F);
            //背景转为CV_8U格式以便求取和当前帧差的绝对值
            background.convertTo (backImage,CV_8U);
            //求当前帧与背景的差别
            absdiff (backImage,gray,foreground);
            //过滤掉前景中与背景差别不大的扰动点
           cv:: threshold(foreground,output,threshold,255,THRESH_BINARY_INV);
           //更新背景，output作为掩码
            accumulateWeighted (gray,background,learningRate,output);
        }
};

结果如下：

用到的视频处理类和main函数如下：

[cpp] view plain copy print ?

1. <SPAN style="FONT-SIZE: 18px">class VideoProcessor{  
2. private:  
3.     VideoCapture caputure;  
4.     //写视频流对象   
5.     VideoWriter writer;  
6.     //输出文件名   
7.     string Outputfile;  
8.   
9.     int currentIndex;  
10.     int digits;  
11.     string extension;  
12.     FrameProcessor *frameprocessor;  
13.     //图像处理函数指针   
14.     void (*process)(Mat &,Mat &);  
15.     bool callIt;  
16.     string WindowNameInput;  
17.     string WindowNameOutput;  
18.     //延时   
19.     int delay;  
20.     long fnumber;  
21.     //第frameToStop停止   
22.     long frameToStop;  
23.     //暂停标志   
24.     bool stop;  
25.     //图像序列作为输入视频流   
26.     vector<string> images;  
27.     //迭代器   
28. public:  
29.     VideoProcessor() : callIt(true),delay(0),fnumber(0),stop(false),digits(0),frameToStop(-1){}  
30.    //设置图像处理函数   
31.     void setFrameProcessor(void (*process)(Mat &,Mat &)){  
32.         frameprocessor = 0;  
33.         this->process = process;  
34.         CallProcess ();  
35.     }  
36.     //打开视频   
37.     bool setInput(string filename){  
38.         fnumber = 0;  
39.         //若已打开，释放重新打开   
40.         caputure.release ();  
41.         return caputure.open (filename);  
42.     }  
43.     //设置输入视频播放窗口   
44.     void displayInput(string wn){  
45.         WindowNameInput = wn;  
46.         namedWindow (WindowNameInput);  
47.     }  
48.     //设置输出视频播放窗口   
49.     void displayOutput(string wn){  
50.         WindowNameOutput = wn;  
51.         namedWindow (WindowNameOutput);  
52.     }  
53.     //销毁窗口   
54.     void dontDisplay(){  
55.         destroyWindow (WindowNameInput);  
56.         destroyWindow (WindowNameOutput);  
57.         WindowNameInput.clear ();  
58.         WindowNameOutput.clear ();  
59.     }  
60.   
61.     //启动   
62.     void run(){  
63.         Mat frame;  
64.         Mat output;  
65.         if(!isOpened())  
66.             return;  
67.         stop = false;  
68.         while(!isStopped()){  
69.             //读取下一帧   
70.             if(!readNextFrame(frame))  
71.                 break;  
72.             if(WindowNameInput.length ()!=0)  
73.                 imshow (WindowNameInput,frame);  
74.             //处理该帧   
75.             if(callIt){  
76.                 if(process)  
77.                     process(frame,output);  
78.                 else if(frameprocessor)  
79.                     frameprocessor->process (frame,output);  
80.             }  
81.             else{  
82.                 output = frame;  
83.             }  
84.             if(Outputfile.length ()){  
85.                     cvtColor (output,output,CV_GRAY2BGR);  
86.                     writeNextFrame (output);  
87.               }  
88.             if(WindowNameOutput.length ()!=0)  
89.                 imshow (WindowNameOutput,output);  
90.             //按键暂停，继续按键继续   
91.             if(delay>=0&&waitKey (delay)>=0)  
92.                 waitKey(0);  
93.             //到达指定暂停键，退出   
94.             if(frameToStop>=0&&getFrameNumber()==frameToStop)  
95.                 stopIt();  
96.         }  
97.     }  
98.     //暂停键置位   
99.     void stopIt(){  
100.         stop = true;  
101.     }  
102.     //查询暂停标志位   
103.     bool isStopped(){  
104.         return stop;  
105.     }  
106.     //返回视频打开标志   
107.     bool isOpened(){  
108.        return  caputure.isOpened ()||!images.empty ();  
109.     }  
110.     //设置延时   
111.     void setDelay(int d){  
112.         delay = d;  
113.     }  
114.     //读取下一帧   
115.     bool readNextFrame(Mat &frame){  
116.         if(images.size ()==0)  
117.             return caputure.read (frame);  
118.         else{  
119.             if(itImg!=images.end()){  
120.                 frame = imread (*itImg);  
121.                 itImg++;  
122.                 return frame.data?1:0;  
123.             }  
124.             else  
125.                 return false;  
126.         }  
127.     }  
128.   
129.     void CallProcess(){  
130.         callIt = true;  
131.     }  
132.     void  dontCallProcess(){  
133.         callIt = false;  
134.     }  
135.     //设置停止帧   
136.     void stopAtFrameNo(long frame){  
137.         frameToStop = frame;  
138.     }  
139.    // 获得当前帧的位置   
140.     long getFrameNumber(){  
141.         long fnumber = static_cast<long>(caputure.get ((CV_CAP_PROP_POS_FRAMES)));  
142.         return fnumber;  
143.     }  
144.   
145.      //获得帧大小   
146.        Size getFrameSize() {  
147.         if (images.size()==0) {  
148.             // 从视频流获得帧大小   
149.             int w= static_cast<int>(caputure.get(CV_CAP_PROP_FRAME_WIDTH));  
150.             int h= static_cast<int>(caputure.get(CV_CAP_PROP_FRAME_HEIGHT));  
151.             return Size(w,h);  
152.             }  
153.         else {  
154.                 //从图像获得帧大小   
155.                 cv::Mat tmp= cv::imread(images[0]);  
156.                 return (tmp.data)?(tmp.size()):(Size(0,0));  
157.             }  
158.           }  
159.   
160.    //获取帧率   
161.     double getFrameRate(){  
162.         return caputure.get(CV_CAP_PROP_FPS);  
163.     }  
164.     vector<string>::const_iterator itImg;  
165.     bool setInput (const vector<string> &imgs){  
166.         fnumber = 0;  
167.         caputure.release ();  
168.         images = imgs;  
169.         itImg = images.begin ();  
170.         return true;  
171.     }  
172.   
173.     void  setFrameProcessor(FrameProcessor *frameprocessor){  
174.         process = 0;  
175.         this->frameprocessor = frameprocessor;  
176.         CallProcess ();  
177.     }  
178.   
179.     //获得编码类型   
180.     int getCodec(char codec[4]) {  
181.         if (images.size()!=0)  
182.             return -1;  
183.         union { // 数据结构4-char   
184.             int value;  
185.             char code[4];  
186.         } returned;  
187.         //获得编码值   
188.         returned.value= static_cast<int>(  
189.         caputure.get(CV_CAP_PROP_FOURCC));  
190.         // get the 4 characters   
191.         codec[0]= returned.code[0];  
192.         codec[1]= returned.code[1];  
193.         codec[2]= returned.code[2];  
194.         codec[3]= returned.code[3];  
195.         return returned.value;  
196.     }  
197.   
198.   
199.     bool setOutput(const string &filename,int codec = 0,double framerate = 0.0,bool isColor = true){  
200.         //设置文件名   
201.         Outputfile = filename;  
202.         //清空扩展名   
203.         extension.clear ();  
204.         //设置帧率   
205.         if(framerate ==0.0){  
206.             framerate = getFrameRate ();  
207.         }  
208.         //获取输入原视频的编码方式   
209.         char c[4];  
210.         if(codec==0){  
211.             codec = getCodec(c);  
212.         }  
213.         return writer.open(Outputfile,  
214.                            codec,  
215.                            framerate,  
216.                            getFrameSize(),  
217.                            isColor);  
218.     }  
219.   
220.     //输出视频帧到图片fileme+currentIndex.ext,如filename001.jpg   
221.     bool setOutput (const string &filename,//路径   
222.                     const string &ext,//扩展名   
223.                     int numberOfDigits=3,//数字位数   
224.                     int startIndex=0 ){//起始索引   
225.            if(numberOfDigits<0)  
226.                return false;  
227.            Outputfile = filename;  
228.            extension = ext;  
229.            digits = numberOfDigits;  
230.            currentIndex = startIndex;  
231.            return true;  
232.     }  
233.   
234.     //写下一帧   
235.     void writeNextFrame(Mat &frame){  
236.         //如果扩展名不为空，写到图片文件中   
237.         if(extension.length ()){  
238.             stringstream ss;  
239.             ss<<Outputfile<<setfill('0')<<setw(digits)<<currentIndex++<<extension;  
240.             imwrite (ss.str (),frame);  
241.         }  
242.         //反之，写到视频文件中   
243.         else{  
244.             writer.write (frame);  
245.         }  
246.     }  
247.   
248. };  
249.   
250.     //帧处理函数：canny边缘检测   
251.     void canny(cv::Mat& img, cv::Mat& out) {  
252.         //灰度变换   
253.         if (img.channels()==3)  
254.             cvtColor(img,out,CV_BGR2GRAY);  
255.         // canny算子求边缘   
256.         Canny(out,out,100,200);  
257.         //颜色反转，看起来更舒服些   
258.         threshold(out,out,128,255,cv::THRESH_BINARY_INV);  
259.     }  
260.   
261.   
262. int main(int argc, char *argv[])  
263. {  
264.     VideoProcessor processor;  
265.   //  FeatureTracker tracker;   
266.     BGFGSegmentor tracker;  
267.     //打开输入视频   
268.     processor.setInput ("bike.avi");  
269.     processor.displayInput ("Current Frame");  
270.     processor.displayOutput ("Output Frame");  
271.     //设置每一帧的延时   
272.     processor.setDelay (1000./processor.getFrameRate ());  
273.     //设置帧处理函数，可以任意   
274.     processor.setFrameProcessor (&tracker);  
275.     //   processor.setOutput ("./bikeout.avi");   
276.     //    processor.setOutput ("bikeout",".jpg");   
277.     processor.run ();  
278.     return 0;  
279. }  
280. </SPAN>