近日《Briefings in Bioinformatics》发表了一种空间信息引导的深度学习方法:Hist2ST,用于从全载玻片图像(WSIs)进行空间转录组预测。
Hist2ST是什么?
此前虽然已经开发了几种利用组织学图像预测基因表达的方法,但它们并没有同时包括2D视觉特征和空间相关性,从而限制了它们的性能。基于此,研究人员开发了Hist2ST,一种基于深度学习的模型,使用组织学图像预测RNA-seq表达。
Hist2ST用于预测组织学图像基因表达的示意图
Hist2ST由三个模块组成:Convmixer、Transformer和Graph Neural Networks。具体而言,在每个测序点,相应的组织学图像被裁剪成图像块。图像块被送到Convmixer模块中,以通过卷积操作捕获图像块内的2D视觉特征。学习的特征被送到Transformer模块中,以通过自注意力机制(self-attention)捕获全局空间相关性。然后,Hist2ST通过图神经网络(Graph Neural Networks)显式捕获邻域关系。最后,通过遵循零膨胀负二项(ZI