小罗碎碎念
领域专家介绍：Faisal Mahmood
变优秀的第一步，是向优秀的人看齐，站在巨人的肩膀上才能更快的成功。所以，我接下来每个周末都会从国内外从事医学人工智能研究的顶级专家中挑选一位进行介绍。
第一周选中的是来自哈佛大学的Faisal Mahmood，很多人不知道他的名字，但是一定看过他的这篇文章——正是这篇文章提出了CLAM。
除了CLAM以外，还有很多经典的病理AI模型都是出自他们课题组。
接下来我会对Faisal Mahmood做一个简单的介绍，随后会介绍一下他们的课题组，最后会结合他们课题组最新发表的几篇文献，分析一下他们的研究动态。
一、Faisal Mahmood实验室
马哈茂德实验室（The Mahmood Lab）位于布莱根妇女医院，致力于将机器学习、数据融合和医学影像分析技术应用于癌症的诊断、预后以及生物标志物发现，以开发更为高效的医疗工作流程。
1-1：目标
- 癌症诊断与预后：实验室的核心目标是利用人工智能辅助病理学家，提高癌症诊断的准确性和效率。癌症作为全球性的健康问题，早期诊断和精准预后对于提高治疗效果和患者生存率至关重要。
- 减少观察者变异：通过自动化和客观化的方法减少不同观察者之间以及同一观察者在不同时间对病理样本解读的差异，这对于提高诊断的一致性和可靠性具有重要意义。
1-2：研究方向
- 人工智能辅助工具：开发能够辅助病理学家的人工智能系统，这些系统通过学习病理影像的特征，能够提供更为精确的诊断建议。
- 形态学表型和生物标志物识别：实验室专注于开发新算法和方法，以识别与特定治疗方法反应相关的临床相关形态学表型和生物标志物。
- 多模态融合算法：结合来自多种成像模态、家族和病人病史以及多组学数据的信息，以提高诊断、预后和治疗的精确性。
1-3：技术手段
- 机器学习：利用先进的机器学习技术来处理和分析大量医疗数据，挖掘其中有价值的诊断和预后信息。
- 数据融合：整合不同来源和类型的数据，如影像数据、临床数据、遗传数据等，以获得更全面的疾病信息。
- 医学影像分析：通过高级影像处理技术，提取影像中的关键特征，用于疾病的诊断和分析。
1-4：潜在影响
- 提高诊断准确性：人工智能的应用有望减少人为错误，提高癌症诊断的准确性。
- 优化治疗计划：通过识别对特定治疗反应的生物标志物，可以帮助医生制定更为个性化的治疗方案。
- 促进医疗资源均衡：自动化和客观化的诊断工具可以在资源匮乏的地区发挥作用，提高医疗服务的普及性和公平性。
二、实验室目前研究方向
2-1：表征学习
代表作
- UNI – A general purpose foundation model for pathology – Nature Medicine-2024
- HIPT – Heretical Image Pyramid Transformer
计算病理学的基础在于我们能否从组织病理学图像中学习和提炼出深度表征。构建这些通用、领域和任务无关的表征对于解决数据稀缺、最小化观察者内和观察者间变异性以及减少劳动密集型注释的需求至关重要。
我们的研究利用自监督学习（SSL）的力量来训练大规模的基础模型，以构建组织学表征。通过使用最先进的模型，我们构建了组织学感兴趣区域的视觉编码器，并将其进一步应用于学习千亿像素全切片图像的切片表征。
为进一步丰富我们的模型，我们开发了多模态预训练策略，将表达数据与文本信息交织在一起，构建对病理数据的多元理解。
2-2：联合视觉-语言学习
代表作
- PathChat – A Multimodal generative AI chatbot for pathology – Preprint [link]
- CONCH – Vision-language foundation model for pathology – Nature Medicine 2024 [link]
- MI-Zero – Multiple Instance Zero-Shot Transfer for Histopathology Images – CVPR 2023. [link]
自然语言数据包含了丰富的关于细胞和组织形态学信息，以及它们在诊断、预后和病人管理背景下的解释。
当这些数据与相应的组织学图像配对时，图像标题有可能提供超出监督学习中使用的简单离散类别标签或自监督对比学习中使用的语义保留变换视图的强有力监督信号。
我们的研究旨在利用仅视觉、仅文本以及配对的视觉-语言数据来进行表征学习（包括单模态和多模态），并开发专门针对病理学中视觉语言理解的多模态模型。
2-3：三维病理学
代表作
- Song, Andrew H., et al. “Weakly Supervised AI for Efficient Analysis of 3D Pathology Samples.” ArXiv (2023). [link]
- Song, Andrew H. et al.Cell, Volume 187, Issue 10, 2502 - 2520.e17[link]
尽管人体组织在结构上本质上是三维（3D）的，但目前的诊断方法主要依赖于对放置在玻璃切片上的薄层、二维（2D）组织切片的分析。
这种2D组织采样仅仅捕捉到了完整3D组织中存在的形态复杂性的一个片段。我们的研究旨在通过开发一个基于3D最先进深度学习技术的3D计算框架来缩小这一差距，主要目标是实现比当前临床实践更好的诊断和预后性能。
我们通过显式编码3D形态并从整个组织体积中聚合异质形态来达成这一目标。
2-4：多模态数据融合
代表作
- Chen, Richard J., et al. “Pan-cancer integrative histology-genomic analysis via multimodal deep learning.” Cancer Cell (2022): 865-878. [link]
- Chen, Richard J., et al. “Multimodal co-attention transformer for survival prediction in gigapixel whole slide images.” Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). 2021. [link]
- Chen, Richard J., et al. “Pathomic fusion: an integrated framework for fusing histopathology and genomic features for cancer diagnosis and prognosis.” *IEEE Transactions on Medical Imaging* (2020): 757-770. [link]
尽管全切片图像（WSIs）已经通过丰富的形态学线索提供了患者状态的详细描述，但已经明确的是，癌症的进展和对治疗方案的响应受到多种因素的影响，因此需要融合额外的模态以改善预后预测。
组学数据，如基因表达和突变，是一个自然的选择，因为它可以提供全面的组织分子细节，这些细节可能在形态学上有所体现，也可能没有，并且可以在常规临床工作流程中获得。
利用多模态融合策略的最新发展，我们开发出利用组织学和基因组学互补信息的框架，以改善患者的预后。
2-5：弱监督学习及其应用
代表作
- Lipkova, Jana, et al. “Deep learning-enabled assessment of cardiac allograft rejection from endomyocardial biopsies.” *Nature medicine* (2022): 575-582. [link]
- Lu, Ming Y., et al. “AI-based pathology predicts origins for cancers of unknown primary.” *Nature* 7861 (2021): 106-110. [link]
- Lu, Ming Y., et al. “Data-efficient and weakly supervised computational pathology on whole-slide images.” *Nature biomedical engineering* (2021): 555-570. [link]
扫描系统、成像技术和存储设备的进步在临床设施中生成了越来越多的全切片图像（WSIs），这些图像可以通过人工智能（AI）和深度学习技术进行计算分析。
临床病理学的数字化和自动化，也称为计算病理学（CPath），可以为患者和临床医生提供更为客观的诊断和预后手段，允许发现新的生物标志物，并有助于预测对治疗的响应。
我们的研究利用多实例学习（MIL）的最新发展，在各种诊断任务中实现了优越的性能，而不受观察者间变异性的影响。
2-6：多路成像
代表作
- Shaban, Muhammad, et al. “MAPS: Pathologist-level cell type annotation from tissue images through machine learning.” *Nature Communications* (2024): 28. [link]
- Shaban, Muhammad, et al. “Deep Learning Model Imputes Missing Stains in Multiplex Images.” bioRxiv (2023): 2023-11. [link]
多路成像技术提供了一种独特的能力，可以深入探究组织内展开的复杂生物学相互作用，超越了传统组织显微镜（组织学）的限制。
在这种背景下，我们的研究集中在开发创新的基于机器学习的计算方法，旨在解决各种挑战，包括细胞表型分析和揭示肿瘤微环境的复杂性，利用多路图像中包含的丰富信息。
三、如何加入团队
3-1：研究生
更新：我们收到了大量的轮转请求，如果你有兴趣在实验室轮转，请发送给我们一个提议的轮转时间表。鉴于我们的能力，我们每个学期只能接受2-3名轮转学生，因此可能无法在你选择的时间提供轮转机会。
我们目前正接受新的学生。如果你已经被哈佛或麻省理工学院的博士项目录取，并且对医学影像分析中的人工智能以及将机器学习应用于病理学挑战感兴趣，请通过电子邮件联系 Mahmood 博士，并附上你的简历和可能的轮转时间表。
我们正在从多个研究生项目招募博士研究生，包括生物信息学与综合基因组学、系统生物学、生物与生物医学科学、哈佛综合生命科学以及其他哈佛的项目。我们还从哈佛-麻省理工学院健康科学与技术项目以及麻省理工学院的的其他项目中招募研究生。
3-2：博士后研究员 - 常规申请
更新：我们收到了大量的博士后申请，因此只能回应那些入围现场面试的候选人。
我们一直在寻找具有计算机科学、统计学、生物信息学、计算机视觉和机器学习背景的才华横溢的博士后研究员。
我们特别感兴趣的是在以下领域有经验的候选人：
- 空间转录组学
- 病理图像分析
- 3D图像分析
- 计算光学
- 多模态数据整合
这些职位由以下资金资助：NIGMS R35杰出研究者奖、BWH院长基金、Fredrick国家实验室以及BWH和MGH病理科的内部资金。
申请时请提交以下材料：
- 简历（Curriculum Vitae）
- 2-3篇近期代表性出版物
- 简短的研究陈述（最多2页）
- 3位可以担任专业推荐人的人名和联系方式
申请将滚动接受，只有完整的申请才会被评估。入围的候选人通常会被邀请进行现场面试。
3-3：博士后研究员 - 哈佛数据科学项目
我们的实验室与哈佛数据科学倡议（HSDI）有关联。HSDI每年都会通过竞争性的过程招募若干名研究员。HDSI的研究员在哈佛大学教师的指导和合作下，独立进行为期两到三年的研究。
申请流程每年秋季开放，以下是申请时的一般步骤和注意事项：
- 申请资格：申请者通常需要在数据科学、统计学、计算机科学、应用数学或相关领域拥有博士学位。
- 研究提案：申请者需要提交一份研究提案，概述其计划在哈佛进行的研究项目。这份提案应该展示出创新性和对数据科学领域的贡献潜力。
- 推荐信：申请者需要提供三封推荐信，推荐人应该是能够评价申请者学术和研究能力的专业人士。
- 申请材料：除了研究提案和推荐信，申请者还需要提交以下材料：
- 简历（Curriculum Vitae）
- 代表性出版物列表
- 个人陈述，说明为何希望成为HDSI的研究员，以及如何在哈佛的学术环境中发展自己的研究事业。
- 申请流程：申请通常通过HSDI的官方网站进行，需要在线填写申请表格并上传相关材料。
- 评审过程：HSDI的申请将经过严格的评审过程，包括初步筛选和专家组评审。入围的候选人可能会被邀请参加面试。
- 资助和支持：被选为HDSI研究员的申请者将获得资金支持，包括薪水、研究经费和旅行津贴。
- 更新：由于申请人数众多，HSDI可能只会联系入围的候选人。
对于有兴趣加入我们实验室并通过HSDI申请博士后职位的候选人，请密切关注HSDI官方网站上的公告，以获取最新的申请信息和截止日期。
3-4：博士后研究员 - 埃里克和温迪·施密特中心
我们的实验室与哈佛和麻省理工学院的布罗德研究所有关联。布罗德研究所的埃里克和温迪·施密特中心（EWSC）正在积极寻找杰出的博士后研究员加入这个新启动的中心。EWSC的博士后研究员可以与任何布罗德关联的教职员工合作。
以下是申请EWSC博士后研究员职位时的一些关键信息和步骤：
- 申请资格：申请者通常需要在生物信息学、计算生物学、基因组学、系统生物学、分子生物学或其他相关领域拥有博士学位。
- 研究兴趣：申请者应具备与EWSC研究方向相符合的研究兴趣，这些方向可能包括但不限于数据科学、机器学习、人工智能在生物医学研究中的应用。
- 申请材料：
- 简历（Curriculum Vitae）
- 代表性出版物列表
- 研究兴趣陈述，说明您的研究背景、兴趣以及为什么想加入EWSC和特定的实验室。
- 推荐信，通常需要三封，由能够评价您学术和研究能力的专业人士提供。
- 申请流程：申请者需要在EWSC的申请页面上填写申请表格，并上传上述材料。
- 研究方向：在您的申请中，您应该明确指出您希望在我们实验室工作的意向，并简要说明您希望进行的研究方向或项目。
- 合作导师：在申请过程中，您可能会被要求指定您希望合作的布罗德关联教职员工，或者您可能需要在申请材料中说明您对哪些教职员工的研究感兴趣。
- 评审过程：EWSC的申请将经过严格的评审过程，包括初步筛选和专家组评审。入围的候选人可能会被邀请参加面试。
- 资助和支持：被选为EWSC博士后研究员的申请者将获得资金支持，包括薪水、研究经费和可能的旅行津贴。
请确保在申请时遵循EWSC的指导和要求，并密切关注EWSC官方网站上的最新信息和截止日期。
扫一扫
345
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
