人脸位置定位鼠标并实现眨眼点击

环境：
python: 3.7
cv2: 4.1.0
pyautogui

haar分类器下载

受前几天的hackfun第一名（键鼠替代方案）启发，尝试自己做一个简易版。由摄像头检测人脸位置，并由此定位鼠标位置；检测图像中的眼睛位置，然后眨眼（眼睛消失）实现鼠标单击。

效果嘛，能够实现基本的预想功能，但是体验不太好。比如鼠标移动较卡顿（视频帧率太低），比如要精确定位比较困难，比如人总会眨眼而不一定想要点击。

总之，人脸来控制鼠标，确实不太方便不能像手那样随心所欲，但这个是为特殊人群服务的替代方案，所以也还行吧。

实现方法是在上一个博客中所讲的人脸识别的基础上，添加识别眼睛的功能，引入pyautogui库，来实现对鼠标的控制。

---

单纯的动态人脸检测参考我的这篇文章

代码：

import cv2
import pyautogui

cap = cv2.VideoCapture(0)

while(True):
    # Capture frame-by-frame
    ret, frame = cap.read()
    frame = cv2.flip(frame, 1)
    print(frame.shape)

    # Our operations on the frame come here
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
	
	# 下面这两个分类器文件替换成自己电脑上的。用everything搜索一下。
    xmlfile = r'C:\ProgramData\Anaconda3\Lib\site-packages\cv2\data\haarcascade_frontalface_default.xml'
    xmlfile2 = r'C:\ProgramData\Anaconda3\Lib\site-packages\cv2\data\haarcascade_lefteye_2splits.xml'

    face_cascade = cv2.CascadeClassifier(xmlfile)
    eyes = cv2.CascadeClassifier(xmlfile2)

    faces = face_cascade.detectMultiScale(
        gray,
        scaleFactor=1.15,
        minNeighbors=5,
        minSize=(5, 5),
    )
    eyes = eyes.detectMultiScale(
        gray,
        scaleFactor=1.15,
        minNeighbors=5,
        minSize=(5, 5),
    )
    print("发现{0}个目标!".format(len(faces)))
    for (x, y, w, h) in faces:
        cv2.rectangle(frame, (x, y), (x + w, y + w), (0, 255, 0), 2)
        xx = max(0, min(10*(x - 100), 1980))
        yy = max(0, min(20*(y - 100), 1080))
        pyautogui.moveTo(10*(x - 100), 10*(y - 100), duration=0.01)
    for (x, y, w, h) in eyes:
        cv2.rectangle(frame, (x, y), (x + w, y + w), (0, 255, 0), 2)
    print("{0} 个眼睛!".format(len(eyes)))
    if len(eyes) < 1:
        pyautogui.click()
    cv2.imshow("frame", frame)
    # Display the resulting frame
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# When everything done, release the capture
cap.release()
cv2.destroyAllWindows()