3D双目跟踪瞳孔识别瞳孔定位算法测试

测试场景：

1. 当用户瞳孔移动时，需要精确定位到瞳孔位置，保证眼动跟踪正常

2. 当有其他人进入摄像头工作范围时，不会干扰之前锁定用户的瞳孔定位功能

测试对象：

1. 自研算法 + 限定硬件（ Acer 、 Realsense 摄像头）

2.  竞品： tobill 、 Acer 、 Realsense 摄像头

测试范围：基于不同需求测试项，测试算法精度

测试项	说明	是否需要测试	优先级	备注
瞳孔状态	静止、移动	是	P0	已与研发确认
双目锁定	单人	是	P0
干扰	遮挡、是否佩戴眼镜	是	P0
光照	室内	是	P1
	室外	否	P2
资源消耗	CPU、GPU、Memory	否	P2

评测指标

维度	指标	计算方式	说明	测试优先级	是否需要测试	备注
准确度 accuracy	均方根误差	RMSE=√Σ(Yi-Yi^) ²/n	衡量估计值与真实值的平均误差	P0	是	已与研发确认
精确度 precision	相对位移	D=-(xC−xA,yC−yA,zC−zA)-|dc-da|/n	衡量每两次的估计值与真实值的相对位移差值	P0	是
	平均绝对误差	MAE = (Σ|xi - yi|) / N	衡量估计值和真实值之的平均绝对误差分布	P1	是
	标准差	σ = √[Σ(xi-μ)²/n]	衡量估计值的分散度	P2	否
连续漏检率 cfnr	CFNR	首帧检测时间、时间离散和集中程度、丢帧率	连续时间内的漏检帧数采样	P1	是
漏检率 fnr	FNR	FN / FN + TP	正例样本帧数采样	P2	否
误报率 fpr	FPR	FP / FP + TN	负例样本帧数采样	P2	否

评测指标-误报率

脚本设计方案：

使用OpenCV库进行本地视频中的面部和眼部检测，并将检测到的帧保存到磁盘

1. 加载 Haar 级联分类器文件，用于眼部和面部检测

2. 读取视频路径，视频分帧，循环从视频中读取每一帧将帧转换为灰度图像，并使用 Haar 级联分类器检测眼部

3. 保存检测到的帧和绘制标记。如果检测到 瞳孔 ，绘制一个红色的点阵。如果检测到面部，绘制一个绿色的矩形

4. 检测窗口会显示每帧的图像，用红点阵和绿矩形标记眼部和面部。按下 Esc 键后，检测窗口会关闭

5. 统计并打印 Total TP TN 的数目，数据入盘

6. 测试过程中录制视频，视频数据包括双目闭合 / 遮挡、单目闭合 / 遮挡，不可正常识别到瞳孔

7. 将录制完成的视频放到测试代码（ OpenCV ），运行代码

8. 统计总帧数 Total 、检测到红色标识的帧数 FP 、未检测到红色标识的帧数 TN ，并保存 FP 到本地磁盘

9. 人工查看检测 fp ，确保代码检测无误

10. 计算误报率： FPR = FP / FP + TN

测试数据集

编号	名称	用途及特点	备注
1	UnityEyes Dataset	计算机图形学、虚拟现实和眼动追踪	三维坐标。三维数据集不可用原因： 1. 算法数据格式：左右相机图像+相机内外参+瞳孔三维坐标 2. tobii 提供的SDK接口无法直接操作摄像头输入，即使是数据集格式符合条件，也不具备可操作性
2	TEyeD	包含 2000 多万张图像，眼动数据集	二维坐标。二维数据集不符合3D精度要求
3	BioID Face Database	瞳孔检测和人脸识别的研究
4	MPIIGaze Dataset	瞳孔定位和视线追踪
5	UT Multiview Datase	多视图瞳孔数据，瞳孔追踪和检测
6	GazeCapture	不同摄像头和场景的眼睛追踪数据

开发数据集

编号	名称	用途及特点	备注
1	ColumnbiaGaze	眼动跟踪和注视点估计	-
2	GI4E	人眼瞳孔中心检测
3	MPIIFaceGaze	视线跟踪技术数据集
4	LFW	人脸识别的数据集	二维图像
5	UBIRIS v2	虹膜识别数据集
6	GazeCapture	不同摄像头和场景的眼睛追踪数据	二维坐标

论文参考

[1] Macneil R .Tracking the Closed Eye by Calibrating Electrooculography with Pupil-Corneal Reflection[J].  2020.DOI:10.14288/1.0394158.

[2] Fuhl W , Weber D , Kasneci E .Pistol: Pupil Invisible Supportive Tool to extract Pupil, Iris, Eye Opening, Eye Movements, Pupil and Iris Gaze Vector, and 2D as well as 3D Gaze[J].  2022.DOI:10.48550/arXiv.2201.06799.

[3] Ou W L , Kuo T L , Chang C C ,et al.Deep-Learning-Based Pupil Center Detection and Tracking Technology for Visible-Light Wearable Gaze Tracking Devices[J].Applied Sciences, 2021.DOI:10.3390/app11020851.

[4] Fei X , Zhang Y , Kong D ,et al.Quantitative Model Study of the Psychological Recovery Benefit of Landscape Environment Based on Eye Movement Tracking Technology[J].  2023.

[5]Diane C. Mézière, Yu L , Reichle E D ,et al.Using Eye‐Tracking Measures to Predict Reading Comprehension[J].Reading Research Quarterly, 2023, 58(3):425-449.

[6] Cheng S , Ping Q , Wang J ,et al.EasyGaze:Hybrid eye tracking approach for handheld mobile devices[J].虚拟现实与智能硬件（中英文）, 2022(002):004.

人眼数据集通常用于眼部相关的计算机视觉、眼动追踪、瞳孔检测、情感识别以及生物特征识别等领域的研究和开发。以下是一些常见的人眼数据集：

1. BioID Face Database: 这个数据库包含1,521张近距离的人脸图像，其中包括瞳孔位置的标记。它通常用于瞳孔检测和人脸识别的研究。

2. Columbia Gaze Data Set: 这个数据集包含56名参与者的近距离肖像图像，每名参与者提供了9张图像，其中包括注视点的标记。这个数据集通常用于研究注视点估计。

3. MPIIGaze Dataset: 这个数据集包括多个参与者的眼部图像，每个参与者在室内和室外环境下进行拍摄。它用于研究眼动追踪和注视点估计。

4. UnityEyes Dataset: 这个数据集包括以3D模型生成的虚拟眼部图像。它通常用于眼动追踪和瞳孔检测的研究。

5. GazeCapture Dataset: 该数据集包含来自移动设备的用户眼睛图像，被广泛用于研究用户的视线和注视点。

6. UT Multiview Dataset: 这个数据集包含多视图图像，用于眼部特征提取和眼部运动研究。

这些数据集在不同研究领域和应用中都有其特定的用途。在研究中，根据需要选择一个适合的数据集，并确保遵守数据使用的相关规定和协议。这些数据集通常由学术界或研究机构提供，可以在它们的官方网站或研究论文中找到更多信息。

下载xml依赖-面部 眼部

https://github.com/opencv/opencv/blob/4.x/data/haarcascades/haarcascade_eye.xml

import cv2
import os

# 加载Haar级联分类器文件
eye_cascade = cv2.CascadeClassifier('haarcascade_eye.xml')
face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

# 打开本地视频文件
video_path = '1.mp4'
cap = cv2.VideoCapture(video_path)

# 检查视频是否成功打开
if not cap.isOpened():
    print("无法打开视频文件")
    exit()

# 创建目录用于保存分帧图片
output_dir = 'frames'
if not os.path.exists(output_dir):
    os.makedirs(output_dir)

frame_count = 0
eye_detected_count = 0
face_detected_count = 0
frame_filename_list = []
frame_filename_no_eyes = []

while True:
    ret, frame = cap.read()
    if not ret:
        break

    frame_count += 1
    frame_filename = 0
    # 在每一帧上检测眼部
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    eyes = eye_cascade.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=5)

    if len(eyes) > 0:
        eye_detected_count += 1
        for (ex, ey, ew, eh) in eyes:
            # 在眼部位置显示红色点阵
            cv2.circle(frame, (ex + ew // 2, ey + eh // 2), 10, (0, 0, 255), -1)
    else:
        # 未检测到眼部的分帧图片
        frame_filename = os.path.join(output_dir, f'frame_{frame_count:04d}_no_eyes.jpg')
        cv2.imwrite(frame_filename, frame)
        frame_filename_no_eyes.append(frame_filename)

    # 在每一帧上检测面部
    faces = face_cascade.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=5)

    if len(faces) > 0:
        face_detected_count += 1
        for (fx, fy, fw, fh) in faces:
            # 在面部位置显示绿色矩形
            cv2.rectangle(frame, (fx, fy), (fx + fw, fy + fh), (0, 255, 0), 2)

    cv2.imshow('Face and Eye Detection', frame)

    # 按Esc键退出检测窗口
    if cv2.waitKey(1) == 27:
        break

    # 保存分帧图片
    frame_filename = os.path.join(output_dir, f'frame_{frame_count:04d}.jpg')
    cv2.imwrite(frame_filename, frame)

# 释放视频捕获对象
cap.release()
cv2.destroyAllWindows()

# 打印统计信息
print(f"总帧数: {frame_count}")
print(f"检测到眼部的帧数: {eye_detected_count}")
print(f"检测到面部的帧数: {face_detected_count}")
print(f"未检测到眼部的图片数: {len(frame_filename_no_eyes)}")
print("未检测到眼部的图片名称:")
for filename in frame_filename_no_eyes:
    print(filename)