AI医疗影像入门与资料整理

1、影像数据数据类型：

内镜：例肠镜、胃镜

X光（X射线）：X射线从一端发出，穿过人体后，在另一端被探测器接收，如同照相一样。但是这样我们只能获取二维的信息。

由于骨骼里面含有较多的磷酸钙与其他金属元素，使得其与其他软组织相比具有较大的衰减率，所以大部分X光的应用场合多为检查骨折、分析骨密度等等。对于其他没有什么金属元素的部位，给人加入金属元素：比如钡餐。通过胃肠钡餐造影，或者钡剂灌肠造影，将硫酸钡造影剂置于消化道内，再用X射线来检查消化道的病变。钡餐主要成分为硫酸钡，对X射线有明显的吸收，而且不溶于水不溶于酸，不会被消化道吸收，对人体无害。

CT（ 计算机断层扫描）：第四代CT则是相当暴力地在整个环上装满了接收器，使得扫描过程中只需要旋转X射线管即可。第五代CT与之前的CT不同之处在于，前四代CT都是将整个X射线管作为发射端进行旋转扫描。而第五代CT则是将X射线管做成了很大的“环”，然后通过偏转线圈来控制发射电子束的方向，继而实现不同角度的扫描。

MRI(磁共振成像扫描): 相较于内镜，它的检测范围大，不痛苦，成像质量高；相较于X光与CT，它没有辐射，可以做功能成像（fMRI），软组织对比度高；相较于超声，它分辨率高，无死角，可以获取三维信息。MRI几乎是完美的代名词。缺点:贵、慢、吵，不适于某些存在幽闭恐惧症的患者。

PET(正电子发射型断层成像) γ射线（光子）:需要造影剂,为功能成像。（解释结构成像和功能成像），CT为结构成像。

PET-CT  PET-MRI.

超声: 由于不同人体组织对于声波的阻抗不同，因此在不同组织之间的交界处会发生不同程度的透射与反射。通过分析反射信号，我们也能够获得体内的组织结构信息。超声成像就是利用这个特性，进而实现对人体内部的探查。超声波从探头发出，在人体内部发生反射之后，沿原路返回探头。通过分析返回信号的强度与延迟，就能分析出不同深度的组织分布。

眼科OCT

弥散张量成像(DTI)，是核磁共振成像(MRI)的特殊形式。举例来说，如果说核磁共振成像是追踪水分子中的氢原子，那么弥散张量成像便是依据水分子移动方向制图。弥散张量成像图（呈现方式与以前的图像不同）可以揭示脑瘤如何影响神经细胞连接，引导医疗人员进行大脑手术。它还可以揭示同中风、多发性硬化症、精神分裂症、阅读障碍有关的细微反常变化。

心电图、脑电图、病理图像、

2、数据格式：

DICOM格式：

现今大多MRI仪器采集后的重建数据为DICOM格式。该数据格式源于美国放射学协会（ACR）和国际电子产品制造商协会（NEMA）。DICOM不仅仅是图像的存储格式，而且是不同成像系统的不同形式数据之间转换的模式，MRI图像只是其中一种特殊形式。目前使用的DICOM遵照1993年协议，且目前主要的MRI仪器供应商都支持该格式。

通常，DICOM把每一层图像都作为一个独立的文件，这些文件用数字命名从而反映相对应的图像层数（在不同的系统有一定差异）。文件中包含文件头信息，且必须要特定的软件才能打开使用。在所有格式中，DICOM包含了大量的元数据信息在文件头中，包括仪器信息、图像采集参数以及病人信息资料。

DICOM是MRI采集的标准输出格式，但是，数据分析前往往要把DICOM格式转化为其他分析格式，这主要是因为DICOM数据比较庞大。由于DICOM把每层图像都存储为独立文件，这会导致产生大量较小的数字文件，从而堵塞文件系统，降低分析速度。有很多免费工具可以把DICOM数据转换为其他存储格式。.dcm

NIfTI格式：

为了减少不同研究中心及数据分析软件共享数据后存在的问题， 2000年美国国家精神研究所、国立神经疾病与脑卒中研究所的研究小组创建了新的数据存储格式。2004年，新的数据格式的第一个版本即NIfTI-1格式发布，它是Analyze 7.5格式的延伸且增加了相当数量的元数据。NIfTI格式最重要的特征就是能反应MRI仪器的像素指数与空间位置。如果使用得当，能帮助我们准确定向，如能帮我们确定哪边代表的是左脑。 出现的原因是原来一种图像格式是ANALYZE 7.5 format，但是这个图像格式缺少一些信息，比如没有方向信息，病人的左右方位等，如果需要包括额外的信息，就需要一个额外的文件，比如ANALYZE7.5就需要一对<.hdr, .img>文件来保存图像的完整信息。因此，解决这个问题Data Format Working Group (DFWG) 将图像格式完整的定义为NIFTI（Neuroimaging Informatics Technology Initiative）格式。

标准NIfTI图像的扩展名是.nii，包含了头文件及图像资料。由于NIfTI格式和Analyze格式的关系，因此NIfTI格式也可使用独立的图像文件（.img）和头文件（.hdr）。单独的.nii格式文件的优势就是可以用标准的压缩软件（如gzip），而且一些分析软件包（如FSL）可以直接读取和写入压缩的.nii文件（扩展名为.nii.gz）。

NIfTI 中的图像原始数据一般被存储成了三维图像，而dicom存储为二维图层，所以相对于DICOM文件，NIFTI文件更加易用于机器学习，因为NIfTI 是三维图像，处理一个单独的NIfTI 文件要比处理成百上千个DICOM文件更加容易一些。

3、AI研究方向

分三类：

人工智能通过影像分类、目标检测、图像分割、图像检索等方式，完成病灶识别与标注、三维重建、靶区自动勾画与自适应放疗等功能，应用在疾病的筛查、诊断和治疗阶段。

a、分类、预测

b、影像标注、病变检测

图像分割

图像配准----图像融合

c、三维重建

目前人工智能在医学影像领域的应用方向主要有两类，即图像病例分类、目标或病灶检测分割。

（1）图像病例分类

病例分类主要是对一套典型多张图片进行分析，从而得出相应的病例的分类结果。

在这一类问题中，通常存在着相应任务的病例图像数据量较少的问题，这也导致处理该类问题时通常会采用计算机视觉中的迁移学习算法。迁移学习算法大多会使用经过自然图像预训练好的网络模型，通常有把预训练模型作为特征提取器和在预训练模型中对医学图像数据进行微调两种用法。

这两种用法都非常有效并且得到了广泛的应用，然而在部分分类问题上，存在着模型难以收敛、准确率不高的情况，甚至精度都无法超越古典的人工分析算法。其根本原因还是由于数据量不够充分，在迁移学习算法过程中出现过拟合现象。但是随着不同深度学习网络算法迭代更新，尤其是美国InceptionV3网络架构的出现，使得皮肤癌分类检测问题取得了超越人类专家的成绩。模型难以收敛、准确率不高等弊端逐渐得到了解决。

新一代人工智能技术在早期萌发阶段就已经被应用到了医学图像的病例分类中。早在2013年日本学者就发表了关于DBNs网络和SAEs网络应用于脑部的核磁共振图像分类。在卷积神经网络（CNNs）普遍应用于计算机视觉之后，图像分类问题的标配便成了卷积神经网络及其各类变种。

在2015年至2017年间47篇关于医疗图像病例的文章中，有36篇是采用卷积神经网络模型、5篇是采用AEs模型、6篇采用RBMs模型，这些文章应用的医学图像领域非常广，从脑部核磁共振MRI到肺部CT扫描都有应用。总而言之，卷积神经网络是医疗图像中一个标准的模型算法，尤其是预训练模型迁移学习算法的技巧已经展示出了其强大的能力。

（2）目标或病灶检测分割

目标或病变分类与上述的图像、病例分类不同，其更加注重于图像的某一部分或细小的组织、病变等局部区别的分类，例如常见的肺结节检测与分类。对于很多任务来说，局部病变区域与全局的概念信息对这类分类结果起着非常重要的作用。很多学者采用了新型的多信息新融合架构进行网络拓扑（例如残差网络结构），以及不同尺度的信息结合，有针对性地对医疗图像做模型输入以及运算调整。

靶区勾画：放射治疗、手术、化疗是目前肿瘤治疗的三大主要手段。利用医学图像引导,放疗病人不需要开刀,住院时间短，恢复快。在放疗前，每个病人需要拍摄医学影像（CT、MRI等）几十甚至上百张，放疗医生凭借经验勾画每个患者的放疗靶区需要半小时至几个小时，耗时耗力，导致治疗病人有限，勾画的精确度不理想。

受医生经验、情绪、耐心等因素的影响，不同医生勾画同一个病人的医学影像靶区会产生不同的勾画效果。靶区勾画与治疗方案设计具有一定的技术含量并需要医生的经验，但是其中包含了大量的重复工作，这些劳动密集型的工作是人工智能的专长，利用人工智能做这些事情将节约肿瘤医生大量的时间。

将人工智能技术应用在放疗领域，是很多人工智能+医疗公司的一大主要研发方向。目前，连心医疗、医诺科技、全域医疗、普润医疗、慧软科技等公司都在开发相关的产品。

医疗数据特征：

（1）、小样本——医疗数据昂贵，数据量一般很少过万。（传统机器学习方法）

（2）、分布式——a、医院数据不共享 b、不同机器或者同一个仪器不同医生做的检查数据差异大。（联邦学习、迁移学习）

（3）、多模态——多种影像数据、基因数据和量表等，数据种类多。

（4）、可解释性——医学数据分析的结果需要有一定的解释性，不能说只给结果，不说明结论的依据。（传统机器学习方法）

  (5)、鲁棒性、泛化能力——因为样本的数量少，模型一般都是过拟合的，换一个数据集后，模型的准确度会下降。

算法分类：

传统机器学习方法：一般不是端到端的。分类任务需要手工提取特征，常用算法SVM，随机森林。

深度学习方法：端到端的，常用的CNN,GAN。

4、AI医学影像公司

商汤科技——图像配准、标注、分类。

联影——有硬件，有大牛-沈定刚 脑科学，深度学习，3D渲染。

依图医疗——肺炎/肺癌AI影像辅助诊断，基于中文文本型电子病历（EMR）做临床智能诊断。

汇医慧影——AI新冠肺炎辅助筛查系统。

腾讯发布AI医学影像产品——腾讯觅影。腾讯觅影是首款AI食管癌筛查系统，准确率超过90%；在肺结节方面，觅影可以检测出3毫米及以上的微小结节，检测准确率超过95%。

阿里巴巴——阿里健康

百度——百度飞桨。基于CT影像的肺炎筛查与病情预评估AI系统

5、相关政策、发文。

（1）、2017年11月，科技部印发了《新一代人工智能重大科技项目实施方案》，并公布了首批国家新一代人工智能开放创新平台名单：其中，明确表示将依托腾讯公司建设医疗影像国家新一代人工智能开放创新平台。依托腾讯公司建设医疗影像国家新一代人工智能开放创新平台。

腾讯拉上中国信息通信研究院、中国科学院深圳先进技术研究院、明峰医疗、广州互云、医渡云、郑州大学第一附属医院、南方医科大学南方医院、上海全景医学影像诊断中心、海纳医信等10家单位，上海全景医学影像诊断中心提供影像数据和医生标注。

时间表：

2021年底之前，开放创新平台落地试用，实现对5种影像模态、10个标注疾病种类的支持；

2022年6月，将建成共享医疗数据基础资源库、医疗脱敏资料查询与监管平台等关键项目，并初步拟定医学影像人工智能技术的标准草案。

（2）、关于开展人工智能医疗器械创新任务揭榜工作的通知

工业和信息化部、国家药品监督管理局联合印发通知，组织开展人工智能医疗器械创新任务揭榜工作，推动人工智能在医疗领域的融合应用，加速人工智能医疗器械新技术、新产品落地应用。按照聚焦临床需求、立足良好基础、鼓励技术创新、完善支撑环境等原则，揭榜任务主要面向2个重点方向：一是智能产品，包括智能辅助诊断产品、智能辅助治疗产品、智能监护与生命支持产品、智能康复理疗产品、智能中医诊疗产品等5大项任务。二是支撑环境，包括医学人工智能数据库、人工智能医疗器械临床试验中心、人工智能医疗器械真实世界数据应用中心等3类支撑环境。工业和信息化部和国家药品监督管理局将与有关部门、地方等加强协同，在应用试点、产品推广、合作交流、配套政策等方面加大对揭榜优势单位的支持力度，加速揭榜成果应用落地。

申报网址：https://aimd.caict.ac.cn/

AI影像的审批：

在2017年国家食药监总局发布的新版《医疗器械分类目录》中规定：若诊断软件通过算法，提供诊断建议，仅有辅助诊断功能，不直接给出诊断结论，则申报二类医疗器械；如果对病变部位进行自动识别，并提供明确诊断提示，则按照第三类医疗器械管理。

国家药监局于2019年7月发布了《深度学习辅助决策医疗器械软件审评要点》。

2019年12月，根据《工业和信息化部办公厅关于印发新一代人工智能产业创新重点任务入围揭榜单位名单的通知》（工信厅科函〔2019〕284号），安德医智作为揭榜单位开展“医疗影像辅助诊断系统”项目技术攻关。据悉，安德医智在本次揭榜中位列第一名。

2020年7月，在工信部组织的全国“肺炎AI影像辅助诊断产品评测”中，安德医智在全国17家参与测评的医疗AI企业中脱颖而出，获得表彰。

从2020年开始，发放了人工智能类的三类医疗器械证。2020年1月15日，国家药监局发出了第一张“人工智能”器械注册证——科亚医疗的冠脉血流储备分数计算软件率先撞线，

国内首张AI影像辅助诊断领域三类证实现“零的突破”。6月12日，国家药品监督管理局发布消息，安德医智旗下BioMind“天医智”的颅内肿瘤磁共振影像辅助诊断软件通过了三类医疗器械审批。该产品由天坛医院和安德医智联合成立的"神经疾病人工智能研究中心"研发，是首个药监局批准的、以“影像辅助诊断”命名的医疗AI软件。

2021年4月16日，国家药监局发布了《人工智能类医用软件产品分类界定指导原则》（征求意见稿）。

文中指出：对于算法在医疗应用中成熟度低（指未上市或安全有效性尚未得到充分证实）的人工智能医用软件，若用于辅助决策，如提供病灶特征识别、病变性质判定、用药指导、治疗计划制定等临床诊疗建议，按照第三类医疗器械管理。

若用于非辅助决策，如进行数据处理和测量等提供临床参考信息，则按照第二类医疗器械管理。

对于算法在医疗应用中成熟度高（指安全有效性已得到充分证实）的人工智能医用软件，其管理类别按照现行的《医疗器械分类目录》和分类界定文件等执行。

2021-07-08 国家药监局关于发布《人工智能医用软件产品分类界定指导原则》的通告。

2020年4月，中国食品药品检定研究院负责起草《人工智能医疗器械质量要求和评价》，本标准旨在为人工智能医疗器械的质量评价提供可使用的统一的术语和定义，规范产品性能及安全评价手段、评价特性、评价方法及评价指标，明确产品类别。

起草组包括起草组包括产学研医检各个领域的15 个成员单位，具体由中国食品药品检定研究院、上海长征医院、解放军总医院、中国科学院深圳先进技术研究院、华为技术有限公司、飞利浦（中国）投资有限公司、上海西门子医疗器械有限公司、杭州依图医疗技术有限公司、腾讯医疗健康（深圳）有限公司、上海联影智能医疗科技有限公司、慧影医疗科技（北京）有限公司、广州柏视医疗科技有限公司、美中互利医疗有限公司、北京安德医智科技有限公司、东南大学共同完成。

医疗器械产品注册与备案。

一类：通过常规管理足以保证其安全性、有效性的医疗器械；

二类：对其安全性、有效性应当加以控制的医疗器械；

三类：植入人体;用于支持、维持生命；对人体具有潜在危险，对其安全性、有效性必须严格控制的医疗器械。

三类医疗器械经营许可证

可先办理营业执照

再领取先照后证通知书

再申请办理三类医疗许可

证书有效期为5年

6、现有AI医学图像的劣势：在落地医院的过程中，部分企业的AI影像产品不被看好有着多方面的原因：一方面，产品早期定义并非来自真实的临床需要。部分企业AI影像产品为采用竞赛数据集开发。由竞赛数据驱动研发对于研究计算机原理有用，但无法很好地满足临床需求，医院付费意愿不高。另一方面，医院本身有着临床需求，但是付费意愿来自于医院医生本身面临的巨大临床压力。通常情形下，医院会按照临床影像检查设备配置医生数量，并填写相关检查报告。当医生基本配置平衡时，AI作为效率工具的优势难以发挥。

现在医院的痛点：

医学影像是医生进行疾病评估的重要依据，不同种类的影像能够提供丰富而有效的信息。但是在临床中往往存在以下问题：

受到影像设备成像原理和技术限制，或者不当的操作，都可能导致图片质量降低，给医生阅片带来困难，造成误诊、漏诊。2、人工阅片往往只能够实现定性分析，许多微小的定量变化无法通过肉眼判断。3、人工阅片会花费医生大量的精力和时间，难以实现大规模的诊断；同时，医生水平和主观性会极大影响结果。

1.医学影像医生缺口大

以我国为例，医学影像数据年增长率约为30%，而放射科医师数量年增长率仅为4%，影像科医师数量增长远不及影像数据增长，且医师从业需要较长时间的培训和学习，这意味着影像科医师在未来处理影像数据的压力会越来越大，难以承担巨大的负荷。

同时，随着分级诊疗政策的推进和基层医疗需求的释放，医学影像数据会更快增长，随之带来的放疗科/病理科医生缺乏的问题将更加严峻。

2.医学影像诊断误诊率高、效率低

医学影像数据基本全部需要专业人员人工分析，而人工分析的缺点也显而易见：

一是大量的脑力劳动和长时间的工作，容易视力疲劳及人为产生视觉误差；

二是海量影像信息容易漏诊；

三是全凭医生经验去鉴定，缺乏量化的标准，误诊率高，极容易出现不同医生判读结果不一致的情况。

据统计，美国每年的误诊人数达到了 1200 万，中国每年误诊人数高达5700 万。根据中华医学会的一份误诊数据资料显示，中国临床医疗总误诊率为 27.8%，其中恶性肿瘤平均误诊率为 40%，器官异位误诊率为 60%，肝结核、胃结核等肺外结核的平均误诊率也在 40%以上，这些误诊主要发生在基层医疗机构。

3.医学影像信息化程度偏低

据中国医院协会信息管理专业委员会出据的数据显示，2015 年我国医院PACS系统（医学影像存档与通信系统）建设水平 50%~60%，同时由于我国信息化建设较晚，医学影像数据共享度仍较低。

综上所述，人工智能技术发展加快了医学影像诊断速度，提升了影像诊断的精准度，并给影像科医生的“阅片”方式带来改变，其主要表现在：

（1）阅片方式改变。人工智能应用直接实现机器自动对片子进行初筛、判断、病灶勾选等，医生只需要最后负责判断即可。

（2）阅片速度改变。人工智能自动快速初筛，并勾选病灶，医生只负责关键部位的复判，为医生节省大量烦琐的初筛过程。时间大为缩短，效率提高。

（3）精准度改变。人工智能具备稳定性和全面性双面特点，不受工作时间长短影响，且能够做到片子全域完整观察无遗漏，快速稳定地完成初筛、判断，最后由专业医生对关键部位进行复判。因此，阅片的精准度得到双重保障。

AI在医院实际的应用、落地情况：

2020年8月份，安德医智作为联合体成员单位，中标国家工信部唯一国家级医疗人工智能公共平台项目——“面向医疗健康行业人工智能辅助诊断公共服务平台"，中标金额达1.68亿元。共同组成此国家级项目的联合体单位还有：华为、中国移动、解放军总医院（301医院）、天坛医院、北京大学第一医院、同仁医院、北京大学肿瘤医院、郑州大学第一附属医院、中国食品药品检定研究院。