Nature Communications|柔性无感智能隐形眼镜（柔性传感/可穿戴电子/柔性电子）

南京大学徐飞(Fei Xu)、陆延青(Yanqing Lu)、陈烨(Ye Chen)和江苏省人民医院袁松涛（Songtao Yuan）团队，在《Nature Communications》上发布了一篇题为“Frequency-encoded eye tracking smart contact lens for human–machine interaction”的论文。论文内容如下：

一、 摘要

眼动追踪技术通过检测用户的眼动并解码他们的注意力和意图，实现了高效、自然、轻松的人机交互。这项工作提出了一种微型、无感且生物相容的智能隐形眼镜，用于原位眼动追踪和无线眼机交互。通过采用频率编码策略，无芯片、无电池的隐形眼镜成功地检测到眼动和眼睑闭合。通过使用时间序列眼动追踪算法，该隐形眼镜具有<0.5°的极高角度精度，并实现了多种眼机交互应用，如眼动绘画、贪吃蛇游戏、网络交互、云台摄像头控制以及机器人车辆控制，这种隐形眼镜有望丰富眼动追踪技术的方法，并推动人机交互技术的发展。

二、背景介绍

近年来，柔性可穿戴设备的兴起引发了人机交互（HMI）领域的革命，由于其皮肤般的机械特性和微型化轻便特性，在智能设备与人体之间建立了无缝连接的桥梁，实现了触觉感知、语音识别、手势识别和动作捕捉等HMI功能。视觉在人类感知外部世界时提供了83%的信息，如新发布的空间计算设备Apple Vision Pro利用眼动追踪技术检测用户的注意力来分析意图和认知，从而实现高效、自然和轻松的眼-机交互。现有的眼动追踪设备主要依赖于瞳孔中心角膜反射技术，但该技术受环境光、摄像头和光源位置以及用户眼睑和睫毛阻碍的限制严重，导致在日常消费场景中普适性较差。基于眼电图（EOG）的眼动追踪技术利用皮肤电极收集具有正角膜和负视网膜的眼双极电位信号，但易受肌肉电信号干扰，准确性较低。因此，迫切需要一种可穿戴且不可察觉的眼动追踪设备，以促进眼动追踪技术在各个领域的发展和应用。

在这项工作提出了一种微型、无感且无线眼动追踪的智能隐形眼镜SCL，用于眼机交互。利用频率编码策略和先进的球面共形制备技术设计的SCL由4个不带芯片的被动RF标签组成，具有不同的工作频率。便携式的扫频读卡器安装在镜框上，与用户眼球相对，无线收集标签的信号。利用由眼睛运动引起的可变耦合系数变化导致多个标签的接收信号强度变化来跟踪凝视点并输入眼睛命令。所提出的SCL具有很多特点，(1)小于中央视网膜的视觉范围的高眼动追踪的角度精度；(2)多种眼机交互模式，如连续眼动绘画、眼控游戏、网络交互、PTZ摄像头控制、机器人车辆驾驶等；(3)良好的综合生物相容性，如低细胞毒性和低眼睛刺激。

三、内容详解

3.1 眼动跟踪SCL的设计与表征

图1a展示了提出的眼动追踪SCL的广泛应用潜力。通过检测凝视方向，SCL可以计算虚拟屏幕上的实时凝视点，实现与软件的交互，比如在欣赏文森特·梵高的著名作品《星夜》时点赞，也可以通过用户定义的眼动命令输入进行眼动控制，使机器人执行多个任务，如车辆移动和摄像头旋转。

SCL具有与商用隐形眼镜相同的基弧（8.6毫米）和直径（13.8毫米），确保与人类角膜的适配性（见图1b），此外，硅材料也保证了高氧透过性和生物相容性。为了增强SCL的长期亲水性，氧等离子处理后在硅表面覆盖了聚乙烯吡咯烷酮（PVP），还将商用隐形眼镜（Clariti，Coopervision）附着在硅的内表面，以提供更安全的与角膜接触，图1c显示了SCL的分层示意图。欲了解详细制备过程，请阅读原文。

如图1d所示，经过亲水处理后，MED-6015表面的静态接触角从110°降至7°，并在1个月内保持良好的亲水性（n=5）。SCL具有很好的柔韧性和延展性，图1e显示了SCL在正常、压缩和拉伸状态下的照片。为验证SCL的长期细胞毒性，测量了来自人类角膜（HCE-T）的细胞存活率。如图1f和1g所示，在72小时的孵育后使用SCL提取物的细胞存活率仍保持在90%以上，各组之间没有显著差异，这表明SCL在长时间佩戴时无细胞毒性，对角膜炎症的风险很小。通过蛋白质积累和消毒后的荧光成像来量化蛋白质的积累，图1h显示，与裸露的商业隐形眼镜相比，SCL上的蛋白质积累保持较低。表明与商业隐形眼镜相比，SCL具有更好的清洁效果。

图1 使用智能隐形眼镜（SCL）进行眼动追踪的人机交互。a、眼机交互的示意图。 b、SCL的光学照片。c、SCL的材料和结构的示意图。 d、SCL的长期亲水性测试。e、SCL在正常、压缩和拉伸状态下的照片。f、使用人类角膜细胞系对SCL进行长期细胞毒性测试。g、在不同提取物中孵育的HCE-T的荧光图像。h、经过双周期蛋白质积聚和消毒后，在裸露商用隐形眼镜（橙色柱）和SCL（紫红色柱）上蛋白质的定量积累。

3.2 眼动响应模型

如图2a所示，眼睛跟踪系统由一个频率编码的SCL和一个安装在眼镜上的便携式扫频阅读器组成，该阅读器可以无线检测SCL的接收信号强度。人眼球的旋转可以分为两个正交方向：俯仰旋转和偏航旋转。由于周围分布的标签具有多个工作频率，SCL可以以此来区分不同方向的旋转，等效电路如图2a的插图所示，当眼球旋转时，多个标签的空间位置和方向发生变化，导致耦合系数ki（i = 1, 2, 3和4）的变化，使图2b中负共振信号振幅发生变化。

图2c显示了SCL对二维眼动的响应模型，为了减少VNA的噪音，通过对应负谐振信号周围的20个采样点（大约16 MHz频率范围）进行求和来计算每个标签的幅度， 当每个标签面对读取器时距离最近时，信号强度最大，当标签离对面坐标更远时，信号强度逐渐减小。由于SCL的不对称结构，标签的对面坐标不同，导致对眼动的差分模式响应。图2d显示了响应模型中某些角度下的详细信号。此外，SCL 能够检测眼睑闭合，如图2e 所示。当眼睑闭合时，4 个标记的信号幅度会同步下降。

图2 眼动响应模型。a、眼动追踪系统的示意图，包括一个带有4个频率编码标签的SCL和一个宽带扫频读取器，由近场线圈和矢量网络分析仪（VNA）组成。插图：眼动追踪系统的等效电路。b、不同耦合系数ki引起的波动标签强度曲线。c、二维眼动下SCL的响应模型。d、在特定角度下响应模型的细节信号。e、共模闭眼信号是由眼皮吸收电磁场引起的，有别于上述差模眼动信号。

3.3 精准的书法和绘画

准确性和易用性对眼动跟踪技术都至关重要。然而，这两个特征往往相互对立，很难同时满足。在这里，作者提出了一种基于隐式旋转校准方法建立的SCL响应模型的时间顺序眼动跟踪算法，实现了在虚拟屏幕上进行高精度的眼部书法和绘画（图3a）。图3b展示了构建的响应模型，模型上的白线表示校准过程中的旋转图案。该算法可以通过计算相邻时间帧之间的信号差异来减少时间变化的共模漂移的威胁。

在图3c中，通过眼动书写的NJU三个字母几乎覆盖了整个屏幕，围绕这些字母的2.1厘米宽的半透明区域表示中央视网膜斜视的注视范围，具有2°的高清视图。图3d分析了沿X轴和Y轴的误差分布。此外，在图3e中使用眼动追踪SCL进行眼睛绘制的一次触摸绘制蛇形图案，其精度与NJU字母相当。如图3f所示，平均误差分别为0.10厘米和-0.09厘米，标准偏差分别为0.26厘米和0.20厘米。

受益于隐式旋转校准方法，眼动SCL在实际应用中表现出较高的容错率。 如图3g所示，由于SCL的不对称结构，在佩戴SCL时可能会出现沿轴的不同旋转角度。 使用旋转校准，成功建立了在不同角度下的响应模型。图3h显示了在30°和45°角度下的响应模型，NJU字母都被高精度绘制。通过建立响应模型并识别标签的空间位置，作者提出的SCL也能够测量眼球的扭转，即眼球围绕视轴的旋转，这是眼球旋转的第三个维度眼球的扭转。此外，SCL在适应角膜曲率的个体差异方面表现出强大的通用性。

图3 通过眼动追踪进行精准书画。a、眼动绘画的示意图。b、使用隐式旋转校准方法构建的眼动模型。c-f、用低水平和垂直误差绘制的南京大学字母和蛇纹样式的眼动，半透明轨迹的宽度表示中央视神经凝视范围。g、穿戴时具有不同角度的SCL的示意图。h、在30°和45°角度下构建的眼动模型和眼动绘制字母。

3.4 眼机交互

眼部指令基于眼动（上、下、左、右）和闭合，图4a显示了4种眼动的代表性标签信号，并通过眼部指令输入提出了三种眼-机交互的应用案例。首先，使用作者提出的SCL进行眼动追踪玩经典游戏《贪吃蛇》， 蛇的移动方向根据眼动方向而改变。图4b显示了4种标签的信号，通过原始信号的差分计算，在图的下半部分获得了2个信号，用于使用阈值判定进行眼部指令识别，一个控制上/下运动，另一个控制左/右运动，在400秒的游戏中成功执行了16个转弯。 图4c可视化了眼控蛇的轨迹并展示了其生长过程。视频1记录了由眼动模型控制的《贪吃蛇》游戏的整个过程。其次，在图4d-e中展示了眼控网络交互演示。图4f-g显示了由眼动头部模型自然控制的云台摄像机运动以及文森特·梵高著名作品《星夜》的变化摄影区域。

图4 通过眼部指令输入的眼-机交互。a、眼-机交互的示意图和眼部指令的特定信号。b、在玩《贪吃蛇》游戏时的原始信号和眼部指令输入。c、眼控制蛇的轨迹。d、与网页交互时的原始信号和眼部指令输入。e、眼控制的网页。f、眼球运动头部模型和眼控制PTZ摄像机的照片。g、由摄像机拍摄的梵高的作品《星夜》的不同区域。

3.5 活体眼机交互及生物相容性评估

活体兔子被用来验证眼动追踪SCL的功能和安全性，在活体眼-机器交互实验中，兔子的眼动被实时收集，通过蓝牙通信无线控制一个机器人车辆，如图5a所示。图5b代表了戴着眼动追踪SCL的兔子眼睛的照片和眼底相干断层扫描（OCT）图像。兔子的眼球与人类角膜有相似的曲率，因此SCL被适形地戴在兔子眼睛上。图5c中SCL捕获了眼动的轨迹，图中的圆环记录了每帧眼动的坐标，圆环的密度可以区分眼动的速度。图5d展示了特定时刻的兔子眼睛和机器人车辆，黑色圆圈和黄色椭圆标记了读取线圈内缘的位置和SCL的4个标签，红点标记了读取线圈的中心。SCL成功检测到微弱的眼动，并且机器人车辆被驱动到与眼动坐标相对应的位置。

在体内眼部刺激测试中，全面评估了眼动追踪SCL的生物相容性。将眼动追踪SCL佩戴在一只兔子的眼睛上，持续24小时，并与商用隐形眼镜进行比较。图5e显示了兔眼在佩戴SCL 24小时后与裸眼镜佩戴24小时后的典型裂隙灯照片、荧光图像和OCT图像，未观察到兔眼角膜损伤。图5g展示了佩戴SCL和商用隐形眼镜24小时后的H&E染色的兔眼角膜的典型组织病理学图像。两幅图像均未观察到明显的异常，如糜烂、炎症和水肿，表明SCL具有很高的安全性，得益于硅弹性体的医用级封装。如图5i所示，佩戴SCL和商用隐形眼镜24小时后，OCT图像显示兔眼角膜轻微变薄，这是由于镜片和眼睑的长时间压迫造成的。

图5 活体眼-机交互和生物相容性评估。 a、兔眼运动控制机器人车辆的示意图。VNA通过读取线圈检测到SCL无线信号，并将其传输到个人电脑(PC)，通过PC通过蓝牙通信无线控制机器人车辆。b、具有SCL的兔眼的照片和OCT图像。c、兔眼运动的轨迹。d、特定时刻的兔眼和机器人车辆的照片。插图突出显示读取线圈内缘的位置和SCL的4个标签，红点表示读取线圈的中心。e、24小时佩戴SCL后的兔眼的代表性裂隙灯照片、荧光图像和OCT图像，与24小时佩戴裸镜相比。f、在1周内每天佩戴SCL 8小时后的兔眼的代表性裂隙灯照片、荧光图像和OCT图像，与裸眼相比。g、h 、在佩戴SCL 24小时和在1周内每天佩戴SCL 8小时后，带有H&E染色的兔角膜的代表性显微图。i、由于镜片的压缩，24小时佩戴SCL和裸镜后中央角膜厚度减少。

四、总结

这项工作基于频率编码策略制备了一种眼动追踪智能隐形眼镜，该智能隐形眼镜能够监测眼部行为（眼动和闭眼），其中嵌入了4个设计良好的无线和无芯片射频标签，具有不同的工作频率。整个眼睛跟踪系统结构简单，重量轻，便于与其他可穿戴产品集成。此外，眼球跟踪SCL使用基于隐式旋转校准方法的时序眼球跟踪算法，具有超高的眼球运动检测精度，定位误差小于0.5°，甚至小于中心凹的凝视范围。最后还实现了多种眼机交互应用，如眼动绘画、贪吃蛇游戏、网络交互、云台摄像头控制以及机器人车辆控制。

五、文献

Zhu, H., Yang, H., Xu, S. et al. Frequency-encoded eye tracking smart contact lens for human–machine interaction. Nat Commun 15, 3588 (2024). https://doi.org/10.1038/s41467-024-47851-y

声明：仅代表作者个人观点，作者水平有限，如有不科学之处，请在评论区留言指正！