【千亿生意】一张眼底图，浮现你未来十年身体1000多种疾病风险

【千亿生意】一张眼底图，浮现你未来十年身体1000多种疾病风险

一眼诊全身
鹰瞳思路
眼底看全身论文
眼底成像技术
眼底看肝脏
眼底看多囊卵巢综合征
眼底看肺部
眼底看贫血
眼底看少肌症
眼底看神经退行
眼底看心血管
眼底看肾脏
眼底看眼疾

鹰瞳视网膜论文
【视网膜长尾数据问题】类别分布的不平衡、多标签、特定区域和特征的类别关联
fundus 图预测心血管
fundus 图预测视网膜年龄
视网膜评估痴呆风险
视网膜图预测甲亢
【弥补医生数量和经验不足】通过 fundus 图，同时识别 10 种以上视网膜疾病

腾讯、鹰瞳视网膜项目经验

一眼诊全身

眼病，是身体其他疾病的标志。

眼底是唯一能直接观察到动脉、静脉和毛细血管的部位。

一张眼底图，浮现你未来十年身体1000多种疾病风险，常见慢性病多达200多种。

影像科在医院中扮演着至关重要的角色，几乎涉及到90%的疾病诊断和治疗过程。

这意味着大多数疾病的诊断和治疗决策都依赖于影像学的结果。

影像学技术如X光、CT扫描、MRI、超声波以及PET扫描等，都是医生用来查看体内情况、确定疾病状况和治疗效果的重要手段。

如果【一眼看全身】能完全实现，这将是 AI 医疗结合最神奇的技术，让全球 80 亿人随时随地掌握自己的健康状况，甚至预测未来十年身体患病的风险，提早做预防。

通过基于眼部影像的AI检测全身性疾病的迹象 —— 一种非侵入性且经济实惠的传统筛查替代方法 —— 预计将是医疗保健的有益补充，甚至可能成为传统筛查策略的替代品。

鹰瞳思路

目前，AI医疗第一股【鹰瞳科技】：

聚焦视网膜影像人工智能识别领域，做到了全身 55 种疾病预测（糖尿病、贫血、高血压、动脉硬化等）
鹰瞳Airdoc自研了全国首款全自动、全自助、便携式的眼底相机（2.2斤）
软硬一体化，参数指标领先于国内外同行的基础上，把成本降低到了原来的1/10以下
检测一次价格是140-180，鹰瞳一次的利润是40-70
视网膜影像数据库，370万张完整的真实世界用户视网膜影像和相对应的多模态数据，由资深医学专家标注及按疾病和病变处理，每张图片都由 3 位医师标注，2名医师相同意见才算标注完成，标注医师每张图能获取 2-10 元收入。
其产品已覆盖超过950家视光网点、400多家等级医院、28个省份区域内保险机构、140家体检中心

鹰瞳实验：

从临床选择了一组单独的病例集(OCT图像+眼底图像)，将一个眼科专家团队根据其OCT图像做出的诊断标注作为黄金标准，然后用相对应的眼底图像组成测试集，由鹰瞳Airdoc独立研发的AI算法模型和其他眼科医生分别给出判读。
以OCT诊断为标准诊断，AI眼底彩照识别模型的AUC为0.8566，其敏感性和特异性比人类医生更加均衡和出色
基于眼底照片的AI分析可作为ERM筛查中人类医生诊断的替代方案，患者在难以获得眼科专家看诊或先进检查的情况下，能以相对较低的成本取得较好的诊断准确性。
尽管OCT图像是ERM诊断的黄金标准，但眼底照片也为诊断提供了有价值的增益信息。基于眼底照片研发的AI模型，在实际临床场景具有良好的性能。

鹰瞳困境：

鹰瞳科技所涉及的AI影像业务受制于与数据保护有关的多种法律、规则、政策，整体监管体系的改变随时可能掐断其发展前景，监管危机如影随形。
2021年，鹰瞳科技销售费和管理费分别为7259万元及7707万元，同比增长181%及330%，仅这两项费用总额就远超过了年营收，更别提研发1亿费用了（人均工资90万）！折旧及摊销的费用也很高，光2021年就有1549万，总亏损-1.43亿元，估价跌了八成。
24年获取各国许可，收入也是大幅度提升，具体可以看鹰瞳公众号数据。
目前已经积累了千万级别的视网膜数据，每天都有上万张。
线下体验：爱康国宾体检
在AI医疗方面，百度、腾讯、阿里等互联网大厂也做的很好，在数据、算法、算力层面都有限制，竞争大。
腾讯觅影研发的AI眼底疾病筛查系统支持7大常见眼底疾病与20余种罕见眼底疾病的检测，亦宣称能在几秒内检测出结果。
硅基智能、致远慧图两家AI医疗机构的糖尿病视网膜病变辅助诊断软件也已通过NMPA的三类审批。
百度在2018年就曾发布AI医疗品牌“百度灵医”，其中包含的“AI眼底筛查一体机”，称10秒即可生成筛查报告。同时高调向基层医院捐赠数百台一体机，让技术以打包形式直接落地到应用场景中。
数坤科技，从医学影像中重建数字器官，全自动检出“病灶”，发现“病史“，同时可以结合形态学和功能学做出医生急需的精确诊断结果。数坤科技的创新致力于解决覆盖心、脑、肺、腹等关键部位疾病，而这些疾病不仅覆盖数量大，且治疗流程复杂
推想医疗的肺结节产品成为全世界唯一一个拥有欧盟CE、日本PMDA、美国FDA、中国NMPA四大市场认证的AI产品，获得了全球绝大部分主要医疗市场的准入资格。

如果技术能持续突破，那什么都不是问题；如果技术不能突破，那大厂、各个 AI 医疗企业都能做到，就没竞争力啦。

眼底看全身论文

论文：https://www.mdpi.com/2227-9032/11/12/1739

神经退行性疾病和精神障碍：使用OCT和眼底图像进行研究
心血管疾病（CVD）：主要通过OCTA和眼底图像来研究
贫血：通过OCT、OCTA和眼底图像来研究
慢性肾脏疾病：通过眼底图像来研究
肝胆疾病：通过眼底图像来研究
多囊卵巢综合征：未指明使用的成像技术
肺部肿瘤：未指明使用的成像技术
贫血：通过OCTA来研究
肌少症：未指明使用的成像技术

眼底成像技术

成像技术分为：

主要关注 5 个：

巩膜图即（“白眼球”）External Eye
视网膜图像 fundus
裂隙灯图 Slit-Lamp
光学相干断层扫描（OCT）
光学相干断层造影（OCTA / FFA）

巩膜图 - 眼睛外部白色部分即（“白眼球”）：

裂隙灯图：

眼底图 fundus：

OCT 图：

OCTA：
在这里插入图片描述

分为 3 类：

从眼球前表面的详细检查（如裂隙灯摄影和巩膜图）
眼球内部结构的深入观察（如OCT和眼底图）
血管结构的详细分析（如OCTA）

裂隙灯图（Slit Lamp Photography）：

用途：裂隙灯是一种眼科设备，通过强光束来检查眼睛前部结构，如角膜、虹膜、晶状体和前房。
优点：裂隙灯摄影对于发现和诊断角膜划伤、干眼症、白内障和青光眼等前段眼部疾病非常重要，并且能够记录治疗前后的变化。

巩膜图（Scleral Imaging）：

用途： 巩膜图是显示眼球外部白色部分，即巩膜的图片。通常用来评估巩膜的健康状况，如检查巩膜的炎症、色素沉着或其他异常情况。
优点： 巩膜图可以帮助医生诊断和监测眼表疾病，如红眼病、巩膜炎症或结膜下出血等，也可用于评估眼外伤或手术后的恢复情况。

眼底图（Fundus Imaging）：

用途： 眼底图是通过特殊的摄影技术捕捉眼球内部后部的图像，包括视网膜、视盘和黄斑等结构。
优点： 眼底图在诊断和管理诸如糖尿病视网膜病变、青光眼、视网膜脱落和年龄相关的黄斑变性等疾病中非常有用。

OCT (Optical Coherence Tomography)：

用途：OCT是一种非侵入性成像测试，可以生成眼睛内部结构，特别是视网膜的高分辨率横截面图像。
优点：OCT对于检测视网膜疾病（如黄斑变性、黄斑水肿、视网膜裂孔）及其管理至关重要，因为它提供了细胞层级的结构细节。

OCTA (Optical Coherence Tomography Angiography)：

用途：OCTA是OCT的一种进阶形式，能够以无需染色剂的方式展现眼睛内部的血流和血管结构。
优点：OCTA对于观察视网膜和脉络膜的血管病变非常有用，尤其是在诊断和监测糖尿病视网膜病变、视网膜静脉阻塞等疾病的血管变化。

眼底看肝脏

论文：https://www.thelancet.com/journals/landig/article/PIIS2589-7500(20)30288-0/fulltext

Xiao等人在2021年进行的研究。

该研究的目标疾病包括肝癌、肝硬化、慢性病毒性肝炎、非酒精性脂肪肝病（NAFLD）、胆石症和肝囊肿。

研究使用了基于眼底图像和裂隙灯图像的 ResNet-101 架构进行分析。

研究的训练/测试数据集包括1252名参与者的2481张裂隙灯图像和1989张眼底图像，其中75%用于训练，20%用于调整模型。

外部验证涉及1069张裂隙灯图像和800张眼底图像。

该研究是前瞻性的，其任务是识别上述的肝脏疾病。

研究结果的输出是二元的，意味着模型的输出是判断疾病是否存在的是/否形式。

模型在不同疾病的检测上表现出不同程度的准确性，这通过AUC（曲线下面积）值来衡量。

裂隙灯图像的AUC值如下：

肝癌：0.93
肝硬化：0.90
慢性病毒性肝炎：0.69
NAFLD：0.63
胆石症：0.58
肝囊肿：0.66

相对应地，眼底图像的AUC值如下：

肝癌：0.84
肝硬化：0.83
慢性病毒性肝炎：0.62
NAFLD：0.70
胆石症：0.68
肝囊肿：0.69

这些AUC值反映了模型在不同肝脏疾病诊断上的准确性，数值越接近1，说明模型的预测性能越好。

眼底看多囊卵巢综合征

论文：https://www.frontiersin.org/articles/10.3389/fendo.2021.789878/full

Lv等人在2021年发表的一项关于多囊卵巢综合征（PCOS）的研究。

使用了U-Net, Resnet-18, MIL（多实例学习）模型来分析巩膜图像。

数据集来自北京大学第三医院，包含4608张用于训练的图像和1160张用于测试的图像，并采用了5折交叉验证方法。

这项研究是回顾性的，其任务是通过巩膜图像的AI分析来识别PCOS，输出是二元的（即患病/未患病），并且在模型的外部验证中获得了0.979的AUC（曲线下面积）值，这表明模型在识别PCOS方面具有很高的准确性。

眼底看肺部

黄等人在2023年进行的一项关于肺部新生物（可能指肺癌）的研究。

研究中使用了U-Net, Resnet-18, MIL（多实例学习）模型分析巩膜图像。

数据集来自紧急综合医院，共950张巩膜图像。

任务是通过分析巩膜图像来识别肺部新生物，输出是二元的（即肿瘤存在与否），并且在模型的验证中获得了0.897的AUC（曲线下面积）值，这表明模型在识别肺部新生物方面具有相当高的准确性。

眼底看贫血

论文：https://link.springer.com/article/10.1134/S1054661819030027

Bauskar等人在2019年进行的一项研究，该研究关注的是贫血。

研究使用了结膜图像，并应用了修改过的支持向量机（SVM）算法来进行贫血的识别。

结膜图像专注于眼睑内侧和眼球表面的透明薄膜部分，即结膜。
通常用来检测结膜炎症、感染、过敏反应、血管模式的变化，或者观察结膜下的出血或肿瘤等情况。

数据集包括了48位贫血患者和51位健康对照（HC）用于训练模型，并使用了k折交叉验证来评估模型的性能。

这项研究是前瞻性的，旨在通过分析结膜图像来识别贫血，其输出结果是二元的（即诊断为贫血或非贫血），并且模型在验证中达到了0.93的AUC（曲线下面积）值，这个值很高，意味着模型在贫血诊断方面的性能很好。

在医学图像分析领域，AUC值是衡量模型诊断准确性的一个常见指标，越接近1表示模型越准确。

论文：https://onlinelibrary.wiley.com/doi/full/10.1002/eng2.12667

该系统易于使用，不依赖于综合实验室基础设施或训练有素的人员，因此可以在资源匮乏的环境中筛查贫血。

论文：https://www.frontiersin.org/articles/10.3389/fpubh.2022.1079389/full

论文：贫血妊娠患者

论文：OCT 进行实时贫血筛查

论文：视网膜眼底图像中检测贫血

论文：视网膜年龄差距与肾衰竭

鹰瞳视网膜论文

鹰瞳Airdoc算法团队

鹰瞳Airdoc莫纳什研究中心联合培养博士生和起源人工智能研究院（IIAI）

1.Semi-supervised Left Atrium Segmentation with Mutual Consistency Training

【视网膜长尾数据问题】类别分布的不平衡、多标签、特定区域和特征的类别关联

解读：

两篇论文都旨在解决长尾分布下的类别不平衡问题，特别是提高罕见类别的识别能力，同时保持对常见类别的高识别准确性。

面临的挑战包括类别间的不平衡、罕见类别识别困难、类别间混淆问题以及整体模型性能的平衡。

方法论的差异：

第二篇论文（实例级类平衡、层次预训练、混合知识蒸馏）
- 实例级类平衡采样 (ICS)：通过为每个类别分配均等的采样概率来缓解类别不平衡问题。
- 层次信息预训练：利用类别之间的层次关系来提高罕见类别的识别能力。
- 混合知识蒸馏：结合头部（常见）类别和尾部（罕见）类别模型的知识，以创建一个具有广泛泛化能力的综合模型。
第一篇论文（关系子集学习、射击法、加权知识蒸馏）
- 关系子集知识蒸馏：通过在多个子集上分别训练模型来平衡数据分布。
- 本地共现标签的关系子集学习：针对具有共现标签的类别进行专门训练，以减少类别间的混淆。
- 基于区域和特征的子集划分：使每个子集中的数据分布更加均衡，改善尾部类别的识别准确率。
- 加权知识蒸馏损失：调整不同类别的权重，优化模型在所有类别上的整体性能。

第二篇论文的方法可能在类别层次结构较为明显的情况下更有效，而第一篇论文的方法可能在类别间存在较多共现关系的数据集中表现更好。

类别层次结构：假设我们有一个医学影像数据集，其中包括各种类型的癌症。

这些癌症类型之间可能存在明显的层次关系，如皮肤癌下分为黑色素瘤、基底细胞癌等。

在这种情况下，第二篇论文的方法，特别是层次信息预训练，可以帮助模型更好地理解这些层次关系并提高对罕见癌症类型的识别准确性。

类别间存在较多共现：假设有一个包含多种心脏疾病的医学影像数据集，例如冠状动脉疾病、心肌病变、心律不齐等。

共现关系：在这样的数据集中，某些疾病可能经常一起出现，如心肌病变和心律不齐。

这种共现可能会导致模型在区分这些条件时遇到困难，尤其是当一个疾病比另一个更为常见时。

第一篇论文的方法：通过本地共现标签的关系子集学习，可以专门识别和训练模型来处理这些共现的疾病类别。

例如，模型可能会学习到心肌病变和心律不齐的共同特征和它们各自独特的特征，从而提高对每种状况的诊断准确性，即使它们在同一图像中共存。

3.Medical Matting: A New Perspective on Medical Segmentation with Uncertainty
https://arxiv.org/abs/2106.09887

4.End-to-end Ugly Duckling Sign Detection for Melanoma Identification with Transformers
https://xueshu.baidu.com/usercenter/paper/show?paperid=1m2p0pk0x86f0j30g4640v00a9134769

5.Self-Supervised Multimodal Generalized Zero Shot Learning For Gleason Grading
https://link.springer.com/chapter/10.1007/978-3-030-87722-4_5

6.Self-Supervised Learning of Inter-Label Geometric Relationships For Gleason Grade Segmentation
https://link.springer.com/chapter/10.1007/978-3-030-87722-4_6

7.Continual Domain Incremental Learning for Chest X-ray Classification in Low-Resource Clinical Settings

Artificial intelligence-based detection of epimacular membrane from color fundus photographs
https://www.semanticscholar.org/paper/Artificial-intelligence-based-detection-of-membrane-Shao-Liu/52aa73504e421e6e17b7a5ee26e617189640d8ab

Ruyi Zha, Xuelian Cheng, Hongdong Li, Mehrtash Harandi, ZongYuan Ge ,“EndoSurf: Neural Surface Reconstruction of Deformable Tissues with Stereo Endoscope Videos” in International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2023.

Zhen Yu, Ruiye Chen, Peng Gui, Lie Ju, Xianwen Shang, Lisa Zhuoting Zhu Zhu, Mingguang He, ZongYuan Ge , “Retinal Age Estimation with Temporal Fundus Images Enhanced Progressive Label Distribution Learning” in International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2023.

Dwarikanath Mahapatra, Antonio Jose Jimeno Yepes, Shiba Kuanar, Sudipta Roy, Behzad Bozorgtabar, Mauricio Reyes, ZongYuan Ge , “Class Specific Feature Disentanglement And Text Embeddings For Multi-Label Generalized Zero Shot CXR Classification” in International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2023.

Siyu Liu, Linfeng Liu, Craig Engstrom, Xuan Vinh To, ZongYuan Ge, “Style-based Manifold for Weakly-supervised Disease Characteristic Discovery” in International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2023.

Siyuan Yan, Chi Liu, Zhen Yu, Lie Ju, Dwarikanath Mahapatra, Victoria Mar, Monika Janda, H. Peter Soyer Soyer, ZongYuan Ge, “EPVT: Environment-aware Prompt Vision Transformer for Domain Generalization in Skin Lesion Recognition” in International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2023.

Deval Mehta, Shóbi Sivathamboo Sivathamboo, Hugh Simpson, Patrick Kwan, Terence O’Brien O’Brien, Zongyuan Ge, “Privacy-preserving Early Detection of Epileptic Seizures in Videos” in International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2023.

Wei Feng, Lie Ju, Lin Wang, Kaimin Song, ZongYuan Ge, “Towards Novel Class Discovery: A Study in Novel Skin Lesions Clustering” in International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2023.

Xin Zhang, Deval Mehta, Chao Zhu, Daniel Merlo, Yanan Hu, Melissa Gresle, David Darby, Anneke van der Walt, Helmut Butzkueven and Zongyuan Ge,“Deep Survival Analysis in Multiple Sclerosis” in Predictive Intelligence in Medicine (PRIME), 2023.

fundus 图预测心血管

Deep learning algorithm using fundus photographs for 10-year risk assessment of ischemic cardiovascular diseases in China

论文：https://www.sciencedirect.com/science/article/abs/pii/S2095927321005995

解读：

上图是一个基于深度学习的系统，用于计算10年内心血管疾病（ICVD）风险的流程。

风险因素计算： 图中左侧显示了一个视网膜图像，旁边的文字说明了用于计算10年心血管疾病风险的各种因素，包括年龄、性别、收缩压（SBP）、总胆固醇（TC）、体质指数（BMI）、糖尿病状况和吸烟状况。
深度学习模型： 中间部分展示了深度学习模型的工作流程。输入这些风险因素后，模型将进行损失计算，并据此更新模型以提高准确性。
风险评估： 图中右侧表示模型输出的结果，即个体未来10年内发生心血管疾病的风险，这包括了心脏和大脑的图像，暗示了心血管和脑血管事件的风险。
模型性能验证： 图的上方提供了关于模型开发和验证的数据。开发阶段包括390,947个数据点，内部验证的AUC（曲线下面积）为0.976（参与者人数为20,571），外部验证的AUC为0.876（参与者人数为1,309），这些数值表明模型在内部验证集上的性能非常好，而在外部验证集上也表现出良好的预测能力。

使用传统的心血管风险因素和视网膜图像，通过深度学习模型来评估未来10年心血管疾病风险的方法。这种方法有潜力改善心血管疾病的早期诊断和预防。