摘要
本文文章采用击键信号的短时能量及峰值片段的幅度及各个幅度对应的频率作为特征向量。采用声音搜集装置搜集敲击键盘产生的声音信号,并对声音信号进行巴特沃斯滤波方法进行滤波预处理;将上述经过滤波得到的信号减去环境背景信号,得到当前信号;其中,所述环境背景信号是一段无击键动作发生时采集的环境中的声音信号。
利用能量检测算法并提取出每个敲击动作的击键高峰的信号片段;使用能量检测算法检测出一个击键动作产生的音频信号中所要分析的、能量值最大的敲击波峰;对识别出的敲击波峰后,通过将该波峰波形的能量值与一个设定的阈值比较,得到该敲击波峰的起始点和终止点。
计算每个敲击动作的短时能量归一化值,击键高峰的信号片段并结合幅度对应的频率作为特征进行分类。为了将分类匹配算法更为准确,引入性能更优支持向量机的神经网络算法进行分类匹配,识别出每次的敲击;
将采集的信号一部分作为测试,作出实际分类和预测分类视图,并且计算得到正确识别率。
关键字:短时能量;能量检测算法;峰值片段;支持向量机训练
目录
绪论
1.简介
1.1研究背景及研究动机
如今,随着各种信号检测系统的发展,键盘击键识别变得越来越重要。通过不同的信号检测,我们能够重现出敲击键盘的内容。随着信息安全技术的发展和人们对信息保密的要求越来越高,能够检测信号的同时做好反检测,正是当下所要考虑的。在做好检测击键行为的同时,设计出更好地方式来保护人的隐私。现有的室内环境中,击键所产生的声音,手势对室内WiFi信号的影响及击键动力方面的研究都可以被作为窃听的技术,从技术原理上研究键盘识别技术,从而更好地防止击键行为被窃听。
1.2主要研究问题
在安全研究领域,电磁设备和机械设备的信号泄露一直是一项重要的研究课题。早在上世纪 10 年代,德国科学家就曾对法国军队的电话线缆进行窃听。1943 年,一名工程师在使用 131-B2 型号的贝尔电话时,无意间发现了显示在示波器上电磁信号,由此,美国陆军和海军制造出当时的绝密的加密终端进行战时信息通讯,用于抵御德国和日本的密码分析研究人员可以使用特殊设备干扰空中的电磁波,通过对电磁波的提取和解码可以窃取用户的播放视频中的影像信息这种形式的窃听攻击可以在较远的范围内完成,并且具备较强的穿透障碍的能力。最近以来,研究人员通过声波的传播在物体表面引起的微小的振动来对声波进行还原然而,上述攻击方案对泄露信号的捕捉多是依赖精密的仪器设备完成的,在实际应用场景中,部署精密仪器的会为攻击的实施带来不小的难度。
新世纪以来,小型的移动设备,例如,移动电话和智能可穿戴设备,正逐渐变为强有力的工具,为了能够运行各种各样的应用程序,从邮件客户端到网上银行,移动设备中传感器的种类和数目以惊人的速度增长,让用户以意想不到的方式与外面的世界互动。然而,恶意软件可以通过获取手机摄像头的控制权限,进而获取用户的图像信息,也可以激活麦克风,录取周围环境中的声音。相关领域的研究人员注意到小型移动设备来的一系列安全隐患,并且发现用户使用键盘输入的文本内容可以从键盘泄露的声音信手机加速度计变化的读数中还原出来。本研究将针对击键识别这一具体问题,积极探索新的应用场景,提出更为普适的解决方案。
2.击键识别技术研究
现有键盘识别系统主要可以分为两个方面。
其一,根据击键动力学获取个人敲击键盘的特征进行个人身份的认证;
其二,采用声音,WiFi,光等信号进行键盘敲击内容的识别。第二种的研究方面又可以分为以下几类。(1)基于WiFi信号,采用CSI技术进行键盘敲击内容的识别。如Wikey,(2)基于声音信号等进行敲击键盘内容的识别.Context-free,通过捕捉声音信号进行键盘布局的重构。
以上的方法,要么需要采用专用的信号采集技术且对环境的条件要求比较高,要么需要的检测设备数量比较高且计算成本较高,不具有普适性。
2.1国内外研究现状
研究人员提出了一系列的解决方案识别用户击键,根据信号源的不同,主要可以分为三类:
(1) 基于声音信号的击键识别,研究人员不但可以通过不同按键发射的不同信号识别击键,而且可以根据击键信号到达麦克风阵列的不同时间对按键在键盘上的具体位置做定位。
(2) 基于电磁信号的击键识别,研究人员通过检测不同按键位置的电路板发射的不同的电磁信号、或者用户在敲击不同按键时对空中电磁信号产生的不同影响来识别击键
(3) 基于包括视觉信息在内的其他传感器信号的击键识别,研究人员通过计算机视觉的相关技术识别小型输入设备(例如,智能手机)的击键,通过可穿戴设备传感器数据的变化,追踪用户手部的细微动作进而识别击键。
2.3 基于声音信号的典型解决方案
基于击键时产生的声音信号,有两种技术方案常用于用户的击键识别
第一种是基于定位的技术。由于不同按键到麦克风阵列的距离不同,该技术通过计算从按键位置发出的声音传播到麦克风阵列的时间差来对击键位置进行精确地定位。
另一种是基于机器学习的分类技术。基于分类的技术方案能够实现细粒度击键识别的原因在于,不同按键产生的声音信号本身有轻微的区别,通过选取合理的数据特征构建数据集,可以训练出辨识能力较高的分类器模型。