AI医学影像技术展望_石峰神经影像ai分析研究进展

AI医学影像技术展望
医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程。它包含以下两个相对独立的研究方向：医学成像系统（medical imaging system）和医学图像处理（medical image processing）。前者是指图像行成的过程，包括对成像机理、成像设备、成像系统分析等问题的研究；后者是指对已经获得的图像作进一步的处理，其目的是或者是使原来不够清晰的图像复原，或者是为了突出图像中的某些特征信息，或者是对图像做模式分类等等。
医学影像发展至今，除了X 射线以外，还有其他的成像技术，并发展出多种的影像技术应用。另外在生医资讯应用方面，为能所产生的数位影像档案与影像数位化档案，可以交换与查阅，发展出医疗数位影像传输协定技术。常用的医学影像技术包括：
血管摄影 (Angiography)：或称动脉摄影、血管造影，是用x光照射人体内部，观察血管分布的情形，包括动脉、静脉或心房室。
心血管造影 (Cardiac angiography)：将造影剂通过心导管快速注入心腔或血管，使心脏和血管腔在X线照射下显影，同时有快速摄片，电视摄影或磁带录像等方法，将心脏和血管腔的显影过程拍摄下来，从显影的结果可以看到含有造影剂的血液流动顺序，以及心脏血管充盈情况，从而了解心脏和血管的生理和解剖的变化。是一种很有价值的诊断心脏血管病方法。
参考文献链接
https://baike.baidu.com/item/%E5%8C%BB%E5%AD%A6%E5%BD%B1%E5%83%8F/4954291?fr=aladdin
https://mp.weixin.qq.com/s/d1AbNfYlR6WdelQ209hBcw
https://mp.weixin.qq.com/s/MrE-ogQtHu4vRJBH9M_Qyg
电脑断层扫描 (CT, Computerized tomography)，或称电子计算机断层扫描，根据所采用的射线不同可分为：X射线CT（X-CT）、超声CT（UCT）以及γ射线CT（γ-CT)等。
乳房摄影术(Mammography)：是利用低剂量（约为 0.7毫西弗）的X光检查人类（主要是女性）的乳房，它能侦测各种乳房肿瘤、囊肿等病灶，有助于早期发现乳癌。
正子发射断层扫描 (PET, Positron emission tomography)：是一种核医学成像技术，它为全身提供三维的和功能运作的图像。是目前唯一的用解剖形态方式进行功能、代谢和受体显像的技术，具有无创伤性的特点，是目前临床上用以诊断和指导治疗肿瘤最佳手段之一。
核磁共振成像 (NMRI, Nuclear magnetic resonance imaging)：通过外加梯度磁场检测所发射出的电磁波，据此可以绘制人体内部结构。
医学超音波检查 (Medical ultrasonography)：运用超声波的物理特性，通过电子工程技术对超声波发射、接收、转换及电子计算机的快速分析、处理和显象，从而对人体软组织的物理特性、形态结构与功能状态作出判断的一种非创伤性检查方式，使肌肉和内脏器官——包括其大小、结构和病理学病灶——可视化。
医学影像AI算法和研究
近日，第四届图像计算与数字医学国际研讨会（ISICDM 2020），在辽宁省沈阳市的东北大学国际学术交流中心举办。
在开幕式环节中，中科院自动化研究所田捷教授以《医学影像中的人工智能的算法和研究热点》为题做了大会报告。
田捷教授现任中国科学院自动化所研究员、分子影像重点实验室主任、北航-首医大数据精准医疗高精尖创新中心主任。
自2010年起，田捷教授连续获得计算机视觉与医学影像分析领域的9大Fellow，其中包括AAAS 、IEEE 、IAMBE 、SPIE 、AIMBE 、IAPR 、OSA 、ISMRM 、WMIS。同时也是两项国家重点基础研究发展计划（973计划）首席科学家。
他主要从事医学影像分析与生物特征识别的研究和应用的工作，还长期从事光学分子影像研究，在光学分子成像等领域做出了系统性、创新性贡献，特别是生物自发光和激发荧光断层成像及其应用方面。
征得田捷教授同意后，提供PPT供大家学习和下载。关注公众号《医健AI掘金志》，对话框回复“田捷”即可获取。
以下是田捷演讲全文，雷锋网《医健AI掘金志》做了不改变原意的编辑：
田捷：今天和大家汇报的题目是《医学影像中的人工智能的算法和研究热点》，分为以下几个方面：包括自己团队对医学影像人工智能的工作进展，以及回归临床的人工智能到底给患者和临床带来什么收益。

人工智能跟医学影像密切相关，这是斯坦福大学放射系主任，Sanjiv Sam Gambhir的归纳，从人工智能的早期像符号系统期，就开始用医学影像来做良恶性判断，再到AI 2.0机器学习，判断会更加准确，再到AI的3.0。
随着方法不断更新，人工智能在医学影像中的应用也越来越深入，越来越多临床问题被更好的解决，使得患者能最终获益。
另一方面，医生和机器学习的关系，引用斯坦福大学Sanjiv Sam Gambhir教授在WMIC 2018给出的例子，从医生角度来看，人工智能是计算机做人类认为智能的事，其从大到小包括机器学习、神经网络、深度学习。同时深度学习更适合解决像超声这样人工难以定义特征的影像，下面的表述也是验证他这样的观点。

AI的另一重要概念即大数据，一个病人影像的每个断层是512×512的像素，200个断层即可组成5000多万个体素，形成100010万个影像特征，医生看片不可能看到100010万个特征。
但计算机可以通过高通量处理对信息进行降维，使得诊断更准确，从而辅助医生进行决策。

下面我将主要分享，以人工智能为核心，在数据、图像、知识这三个环之间的作用。
CT、磁共振把信号变成图像，让人眼来判读，来提取特征，人脑来加工，最终形成诊断知识，这恰好是现在影像组学和人工智能，医学影像的研究热点。我将对这些热点，进行逐个分析。
首先从信号到图像，过去都是医学影像器械厂商完成，例如从K-空间，磁共振图像生成，有一系列物理模型和数学模型，像莱登投影，螺旋采样等这一系列方法。
但现在人工智能也在干这事，使得从复杂频率信号到实域变换，生成人眼能看的磁共振图像，经过训练以后，从图像中获取知识给出判断，但这种重建方法受到了降采样噪声干扰，使得很多图像失真。

而人工智能不需要物理模型和数学公式，可以直接从信号到图像，既克服失真，又可高质量重建。此外AI重建出来的结果，颠覆了过去由物理模型和数学算法降采样得到图像的方式，其信噪比更高，图像质量更好。

到了更好图像质量效果，对厂商也起到了颠覆和促进作用，该工作是由哈佛大学医学院完成的，第一作者是中国人。

团队也开展了类似工作，通过训练样本得到光源位置，不需要经过辐射传播方程来近似求解，以深度学习进行重建，其中没有复杂物理过程和简化数学模型，这个工作也发表在了Optica上。该工作以深度学习进行重建，与前面磁共振逻辑思路类似，按照这个思路做了一个系列，包括自发荧光，激发荧光，光声成像。
从信号到图像完全可以用深度学习，噪声更低，效果更好，颠覆了复杂物理过程和数学模型，使得重建更加有效。

回归到今天的主要内容：图像到知识。
重点从4个方面进行汇报：基于人工智能的影像组学方法；基于深度学习的影像智能诊断；特异性新型卷积神经网络模型；医疗人工智能的前沿热点方向。
基于人工特征
的影像组学分析

影像组学概念综合了医学影像、基因和临床大数据，用人工智能高通量提取疾病相关信息，辅助临床决策，和医生看片是一样的逻辑。
医生看病是从影像提取特征，人眼看结构特征，根据经验进行人脑加工，最后给出决策。计算机通过影像数据，定量提取高通量特征，人工智能建模来辅助决策。
其中最大区别是人眼看的是结构，计算机看到的是高维信息。
高维信息能够提取微观基因蛋白信息在宏观影像上的表达，从而反映人体组织细胞和基因水平变化，使得诊断更准确，治疗更有效，这是影像组学意义所在。

影像组学也可以跟其他组学融合，通过人工智能高通量的提取特征信息，再进行建模，实现精准诊断、预后预测以及治疗方案选择。
围绕着这几个方面举典型案例，说明人工智能到底解决了什么问题，患者的获益在哪里。
人工智能对医学来说到底效果是什么？
对临床来说，影像是无创的，病理是有创的，通过手术和穿刺才能得到。病理是微观，影像是宏观，如果借助人工智能从宏观影像上挖掘出微观信息，把影像逼近病理，使两个技术1+1>2，诊断将更准确。

另一方面，把宏观影像跟外部预后结合在一起，定量分析影像数据和临床数据，也能够辅助疾病个性化诊疗和精准预测。

其中最重要的就是特征，人眼只能看到形状特征。一些高维特征、标准方差、能量、复杂灰度、共生矩阵特征和熵，人眼都没办法看，也没办法加工，但计算机可以处理这些高维信息。

这是广东省人民医院刘再毅教授发表在Radiology的一篇文章。中间结构图是影像；两个癌症患者年龄差不多，结构特征能看到的信息差不多相同。
放射科大夫写报告都会描述形状不规则，边缘较模糊，长径多少，只能让临床外科和内科大夫去做判断。
但这两个人的预后差别很大，一个5年半没有复发，一个一年半就去世了。
这就是肿瘤异质性，从结构上看不到这两个患者的预后和肿瘤异质性（肿瘤本质的差别）。

觉得医工交叉要解决问题，研究思路应该是源于临床提出问题，要具体化，越具体越好。特别是现在临床解决不了的某一个点上的某一个具体问题，找适合的人工智能的数据处理方法和分析方法，最后回归临床应用。
下面我会举一些例子，说明了人工智能的效果。不同应用目的的工作为例子，以印证上面研究思路，案例均摘自Ebiomedicine（柳叶刀子刊）。
案例一：新辅助治疗效果评估

这是与南方医院合作的科研案例，针对特定临床问题：局部晚期宫颈癌治疗前难以预测新辅助治疗疗效。采用了275例新辅助化疗前宫颈癌多中心多序列MR影像。
用人工智能多序列、多区域MR影像组学特征分析，实现局部晚期宫颈癌患者的新辅助疗效精准预测。从过去不能从磁共振图看出问题，到借助人工智能加磁共振的分析达到精准预测。

这个成果发表在医学杂志Ebiomedicine上，国际同行法国教授Dimitris Visvikis认为该研究表明在多中心验证影像组学模型是可行的，该工作将促进影像组学的临床应用转化。
案例二：孕妇产后出血预测
这是与河南省人民医院合作的案例：通过分析近300例胎盘增生孕妇产前MR影像、MR影像组学特征，对多中心T2WI序列进行智能分析实现孕妇剖腹产发生出血的精准预测。

案例三：肝硬化门脉高压预测
前面是影像逼近病理，这是对肝静脉压梯度测量的预测，通过回顾性CT图像数据进行学习预测，提取了特征再进行前瞻性AI预测，效果也不错。

案例四：远处转移风险评估
鼻咽癌远处转移风险评估案例中，使用176例鼻咽癌患者MR影像进行数据定量分析，实现治疗前对鼻咽癌患者远处转移风险的精准预测。

案例五：脑膜瘤脑组织侵袭风险评估
第五个案例是脑膜瘤脑组织侵袭风险的预测。脑膜瘤患者会有术前评估不准确性，取1728例术前脑膜瘤患者多序列MR影像，分析定量影像组学特征与脑组织侵袭潜在关联，实现了脑膜瘤患者脑组织侵袭风险精准预测。

这些案例都是以问题为导向，说明人工智能解决临床的特定问题，但问题一定是源于临床，找到一个特定问题，高于临床找到适合的方法，回归临床看效果。
对于AI找肺结节类问题在临床上并不一定有实际意义，也许方法很炫，在特定数据集上也很有效，但距离实际的临床问题和患者都太远。
基于深度学习的影像智能诊断

文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉二、Python必备开发工具

👉三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）

👉五、Python练习题

检查学习结果。

👉六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！