一种鼠标手势识别的方案

其实鼠标手势识别在实际中好像并没有太多应用场景，比较常见的就是浏览器的手势操作，不过感觉这个也比较鸡肋，如果和硬件结合起来会好一些。我是由于一个小项目的需要，所以动手做鼠标手势识别这个东西，本来想在网上找一下看有没有相关文章，奈何很多根本都看不懂。。所以我就自己构思要如何实现，后来我就想到了一种比较简单的方法，经过测试，识别率是挺高的，应该可以>90%。

先上个图：

从实际效果来看，识别率挺不错的。接下来说说我实现的思路。

一、要知道鼠标手势，那就要知道移动的方向，那么我们可以用一个数组来保存鼠标每次移动的方向，如前次坐标(3,5)，此次坐标(5,4),则将结果(大于为1，小于为-1，等于与0)记为(1,-1)，这时我们便知道鼠标是向右下方滑动的。

二、接着将这些方向与标准的手势进行比较，若方向与上次相同则忽略，比较得出匹配的轨迹种类之后，我们还不能确定就是此轨迹，因为我们只确定了方向，所以此时我们还要将绘制出的轨迹图像与标准轨迹图片进行对比，若相似度大于阈值，则匹配成功。

三、因为用户在移动鼠标的过程中，肯定不可能完全是标准轨迹的样子，所以要设置一个误差范围，在此范围内可认为前后坐标相同。这个误差范围是根据用户绘制的轨迹图像的大小来动态确定的，图像越大，误差范围越大，最高不超过20。然后用户在绘制的过程中，可能出现手抖，可能会导致出现一个与标准轨迹不同的方向，这时我们就要设置一个容错次数，在这个次数内的错误的方向均不计，若超过了，则跳到识别下一个轨迹。

明白了以上三点，那么来写代码也就不难了。那么要怎么做呢？请继续看：

一、保存标准轨迹的配置文件

{ "track":[
{"trackImage":"d:/0/0.png", 
"description":"下一张", 
"function":"NEXT",
"scene":0,
"direction":[[0,1],[1,0]]} ] }

• trackImage : 鼠标轨迹图片
• description : 鼠标轨迹描述，将在程序下方提示
• function : 要执行的功能编号
• scene : 使用场景(暂时不用，比如说在不同的窗口时执行同样的功能需要按下不同的快捷键)
• direction : 鼠标轨迹的移动方向，方向越多的话判断起来越准确

二、图像相似度比较

我在网上找了几个算法，直方图比较，均值哈希，汉明距离，发现均值哈希比较好，它的比较过程大体如下：

第一步，缩小尺寸。

将图片缩小到8x8的尺寸，总共64个像素。这一步的作用是去除图片的细节，只保留结构、明暗等基本信息，摒弃不同尺寸、比例带来的图片差异。

第二步，简化色彩。

将缩小后的图片，转为64级灰度。也就是说，所有像素点总共只有64种颜色。

第三步，计算平均值。

计算所有64个像素的灰度平均值。

第四步，比较像素的灰度。

将每个像素的灰度，与平均值进行比较。大于或等于平均值，记为1；小于平均值，记为0。

第五步，计算哈希值。

将上一步的比较结果，组合在一起，就构成了一个64位的整数，这就是这张图片的指纹。组合的次序并不重要，只要保证所有图片都采用同样次序就行了。
得到指纹以后，就可以对比不同的图片，看看64位中有多少位是不一样的。

三、鼠标坐标记录

每隔几次移动后将鼠标坐标保存到一个动态数组中，并且刚开始移动时的坐标不要计入，因为此时的误差范围很小，所以可能会识别出某个轨迹

四、开始识别

int offset=(int)(cut.getWidth()/10.0+2);//鼠标移动时的误差范围
		offset=offset>20?20:offset;
		System.out.println("offset: "+offset+"  "+cut.getWidth());
		double max=0;
		int max_index=-1;//图片相似度最大的轨迹索引
		int interval=MouseTrack.INTERVAL;
		for(int i=0;i<tracks.length();i++) {
			JSONObject obj=tracks.getJSONObject(i);
			JSONArray ts=obj.getJSONArray("direction");
			int ts_i=0;
			String[] last=null;
			String last_dir=null,//前一次的坐标
			last_res="";//前两个坐标比较后的结果
			int mistake_times=0;//容错率
			String last_mistake="";
			for(String dir:dis) {//遍历鼠标运动方向
			String[] ds=dir.split(",");//此次的坐标
			if(last_dir!=null) {
				last=last_dir.split(",");//上次的坐标
				int lx=Integer.parseInt(last[0]),ly=Integer.parseInt(last[1]),
					nx=Integer.parseInt(ds[0]),ny=Integer.parseInt(ds[1]);
				int ox=nx-lx>offset?1:nx-lx<=-offset?-1:0
						,oy=ny-ly>offset?1:ny-ly<=-offset?-1:0;
					String dir_res=ox+","+oy;//得到方向
						
				if(ts_i>=ts.length()) {//超出标准轨迹的方向数目了，允许小范围内的超出
							if(interval--==0) {//每移动10次记录一次，不然太密集的话总是在误差范围内
							last_res=dir_res;
							interval=MouseTrack.INTERVAL;
							}
							if(!last_res.equals(dir_res)) {//瞎画的时候退出
							ts_i=0;
							break;
							}
							continue;
						}
						
			if((!dir_res.equals(last_res))) {//新的运动方向
						
						if((dir_res).equals(ts.getString(ts_i))) {//运动方向与轨迹吻合
						ts_i++;
						last_res=dir_res;
						}else if(!last_mistake.equals(dir_res)&&mistake_times++>MAX_MISTAKE_TIMES) {//同个错误不重复计入
							last_mistake=dir_res;
							break;
						}
					}
					last_dir=dir;
				}else {
					last_dir=dir;
				}
			}
				System.out.println(i+" ) Mistake: "+mistake_times);
		if(mistake_times>MAX_MISTAKE_TIMES)continue;
			if(ts_i==ts.length()) {//手势运动方向吻合，判断图片相似度
				double tmp=new FingerPrint(cut).compare(trackImages[i]);
					if(tmp>max) {
						max=tmp;
						max_index=i;
					}
					
				}
				
		}
		if(max_index>=0&&max>=0.8) {//有匹配的轨迹
			tip.setVisible(true);
			JSONObject obj=tracks.getJSONObject(max_index);
			tip.setIcon(new ImageIcon(drawTip(obj.getString("description"))));
			func=obj.getString("function");
			if(!sameFlag) {
				
				sameFlag=true;
			}
		}else {
			func="NONE";
			tip.setIcon(new ImageIcon(invalid));
		}
		

大致的过程就是如此，github项目地址：https://github.com/starkZH/MouseTrack-Recognition