VL_FEAT——图像处理函数库

 

　　这几天在看特征提取、匹配及最后误匹配点对剔除的资料，无意中发现了这个图像处理函数库——VL_FEAT。

　　主页网址是：http://www.vlfeat.org/。有兴趣的朋友可以访问并进行学习、研究。

　　上网查了一些资料，中文资料讲述详细地不多，这里做一个简单的介绍。

　　VL_FEAT库中包含了很多用C编写的图像处理函数，配置、安装好后可以直接调用（类似于OpenCV）。

　　除了在C++中可以配置外，同时也提供了Matlab接口。

　　在以上提供的网址中可以下载各种版本的VL_FEAT,本人用的是VLFeat 0.9.16 (Windows, Mac, Linux)，即目前最新的版本。

　　1、运用VL_FEAT中的vl_sift、vl_ubcmatch在Matlab环境运行的例子，功能是进行两幅图像的拼接：

　　本人设置下面提到的根路劲root为     "F:\3D_Reconstruction\Ref_code\sift_mosaic\vlfeat-0.9.16"

　　vlfeat-0.9.16 为下载后解压的文件存储名。

  1 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
  2 %%%%%%%%%两幅图的匹配
  3 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
  4 function mosaic = sift_mosaic(im1, im2)
  5 run('root\toolbox\vl_setup');
  6 if nargin == 0
  7   im1 = imread('river1.jpg') ;  %图像目录及名称根据实际情况进行更改
  8   im2 = imread('river2.jpg') ;
  9 end
 10 % make single，every value chahged to its percent of 255
 11 im1 = im2single(im1) ;
 12 im2 = im2single(im2) ;
 13 % make grayscale
 14 if size(im1,3) > 1, im1g = rgb2gray(im1) ; else im1g = im1 ; end
 15 if size(im2,3) > 1, im2g = rgb2gray(im2) ; else im2g = im2 ; end
 16 % --------------------------------------------------------------------
 17 %                                                         SIFT matches
 18 % --------------------------------------------------------------------
 19 [f1,d1] = vl_sift(im1g) ;  %图像特征点的提取，f1,d1分别代表特征点坐标及对象描述子
 20 [f2,d2] = vl_sift(im2g) ;
 21 [matches, scores] = vl_ubcmatch(d1,d2) ;   %对上述提取的特征点进行匹配
 22 numMatches = size(matches,2) ;
 23 X1 = f1(1:2,matches(1,:)) ; X1(3,:) = 1 ;
 24 X2 = f2(1:2,matches(2,:)) ; X2(3,:) = 1 ;
 25 % --------------------------------------------------------------------
 26 %                   RANSAC with homography model
 27 % --------------------------------------------------------------------
 28 clear H score ok ;
 29 for t = 1:100   % 迭代100次，每次进行比较，最后选择最佳的H
 30   % estimate homograpyh
 31   subset = vl_colsubset(1:numMatches, 4) ;
 32   A = [] ;
 33   for i = subset
 34     A = cat(1, A, kron(X1(:,i)', vl_hat(X2(:,i)))) ;
 35   end
 36   [U,S,V] = svd(A) ;
 37   H{t} = reshape(V(:,9),3,3) ;
 38   % score homography
 39   X2_ = H{t} * X1 ;
 40   du = X2_(1,:)./X2_(3,:) - X2(1,:)./X2(3,:) ;
 41   dv = X2_(2,:)./X2_(3,:) - X2(2,:)./X2(3,:) ;
 42   ok{t} = (du.*du + dv.*dv) < 6*6 ;
 43   score(t) = sum(ok{t}) ;
 44 end
 45 [score, best] = max(score) ;
 46 H = H{best} ;
 47 ok = ok{best} ;
 48 % --------------------------------------------------------------------
 49 %                          Optional refinement
 50 % --------------------------------------------------------------------
 51 function err = residual(H)
 52  u = H(1) * X1(1,ok) + H(4) * X1(2,ok) + H(7) ;
 53  v = H(2) * X1(1,ok) + H(5) * X1(2,ok) + H(8) ;
 54  d = H(3) * X1(1,ok) + H(6) * X1(2,ok) + 1 ;
 55  du = X2(1,ok) - u ./ d ;
 56  dv = X2(2,ok) - v ./ d ;
 57  err = sum(du.*du + dv.*dv) ;
 58 end
 59 if exist('fminsearch') == 2
 60   H = H / H(3,3) ;
 61   opts = optimset('Display', 'none', 'TolFun', 1e-8, 'TolX', 1e-8) ;
 62   H(1:8) = fminsearch(@residual, H(1:8)', opts) ;
 63 else
 64   warning('Refinement disabled as fminsearch was not found.') ;
 65 end
 66 % --------------------------------------------------------------------
 67 %                                                         Show matches
 68 % --------------------------------------------------------------------
 69 dh1 = max(size(im2,1)-size(im1,1),0) ;
 70 dh2 = max(size(im1,1)-size(im2,1),0) ;
 71 figure(1) ; clf ;
 72 subplot(2,1,1) ;
 73 imagesc([padarray(im1,dh1,'post') padarray(im2,dh2,'post')]) ;
 74 o = size(im1,2) ;
 75 line([f1(1,matches(1,:));f2(1,matches(2,:))+o], ...
 76      [f1(2,matches(1,:));f2(2,matches(2,:))]) ;
 77 title(sprintf('%d tentative matches', numMatches)) ;
 78 axis image off ;
 79 subplot(2,1,2) ;
 80 imagesc([padarray(im1,dh1,'post') padarray(im2,dh2,'post')]) ;
 81 o = size(im1,2) ;
 82 line([f1(1,matches(1,ok));f2(1,matches(2,ok))+o], ...
 83      [f1(2,matches(1,ok));f2(2,matches(2,ok))]) ;
 84 title(sprintf('%d (%.2f%%) inliner matches out of %d', ...
 85               sum(ok), ...
 86               100*sum(ok)/numMatches, ...
 87               numMatches)) ;
 88 axis image off ;
 89 drawnow ;
 90 % --------------------------------------------------------------------
 91 %                               Mosaic
 92 % --------------------------------------------------------------------
 93 box2 = [1  size(im2,2) size(im2,2)  1 ;
 94         1  1           size(im2,1)  size(im2,1) ;
 95         1  1           1            1 ] ;
 96 box2_ = inv(H) * box2 ;
 97 box2_(1,:) = box2_(1,:) ./ box2_(3,:) ;
 98 box2_(2,:) = box2_(2,:) ./ box2_(3,:) ;
 99 ur = min([1 box2_(1,:)]):max([size(im1,2) box2_(1,:)]) ;
100 vr = min([1 box2_(2,:)]):max([size(im1,1) box2_(2,:)]) ;
101 [u,v] = meshgrid(ur,vr) ;
102 im1_ = vl_imwbackward(im2double(im1),u,v) ;
103 z_ = H(3,1) * u + H(3,2) * v + H(3,3) ;
104 u_ = (H(1,1) * u + H(1,2) * v + H(1,3)) ./ z_ ;
105 v_ = (H(2,1) * u + H(2,2) * v + H(2,3)) ./ z_ ;
106 im2_ = vl_imwbackward(im2double(im2),u_,v_) ;
107 mass = ~isnan(im1_) + ~isnan(im2_) ;
108 im1_(isnan(im1_)) = 0 ;
109 im2_(isnan(im2_)) = 0 ;
110 mosaic = (im1_ + im2_) ./ mass ;
111 figure(2) ; clf ;
112 imagesc(mosaic) ; axis image off ;
113 title('Mosaic') ;
114 if nargout == 0, clear mosaic ; end
115 end

　　

　　2、VS2010中某个项目配置VL_FEAT,并建立.cpp文件运行输出"HELLO VL_FEAT!"

　　可以先在系统环境中添加path变量： root

　　新建一个空项目vl_feat_test，点击并获得属性对话框，配置步骤如下：

　　　　(1)在C/C++ -> 常规，右侧的附加包含目录下添加上面提到的  root 

　　　　(2)在链接器 -> 常规，右侧的附加库目录下添加 root/bin/win32

　　　　(3)在链接器 -> 输入，右侧的附加依赖项下添加 vl.lib

　　.cpp文件如下：

 1 #include <iostream>
 2 
 3 using namespace std;
 4 
 5 extern "C"
 6 {
 7     #include <vl/generic.h>
 8     #include <vl/stringop.h>
 9     #include <vl/pgm.h>
10     #include <vl/sift.h>
11     #include <vl/getopt_long.h>
12 };
13 
14 int main()
15 {
16     VL_PRINTF("HELLO VL_FEAT!\n");   //vl_feat中的输出语句
17     getchar();
18 
19     return 0;
20 }

`直接编译、运行即可。