论文笔记-Knowledge Matters: Chest Radiology Report Generation with General and Specific
Knowledge
- 创新点：图像特征融合了一般知识与特殊知识
![)]](https://img-blog.csdnimg.cn/40f791096e3e490fa503146030442f2e.png)
General Knowlegde Embedding
该模块利用现成的知识图谱 G g G_g Gg（由RadGraph获得），然后通过RotatE模块获得图的实体嵌入和关系嵌入
{ E e ， E r } = R o t a t E ( G g ) \{E_e，E_r\}=RotatE(G_g) {Ee，Er}=RotatE(Gg)
其中 E e ∈ R N e × 400 E_e\in{\mathbb{R}^{N_e\times400}} Ee∈RNe×400和 E r ∈ R N r × 400 E_r\in{\mathbb{R}^{N_r\times400}} Er∈RNr×400表示为图的实体嵌入和关系嵌入，其中 N e N_e Ne和 N r N_r Nr表示Knowledge中的实体和关系个数
该论文不同于之前的工作只在图像特征中融入图的整体特征，而是将结构信息 E e E_e Ee一起融入visual feature，论文通过对知识中的每个实体，聚合其所有相邻实体的边缘特征，并将其作为关系偏差添加到建模中。
结构信息的获得：从一般知识出发，构造实体之间的聚合关系 r ∈ R N e × N e × 400 r\in{\mathbb{R}^{N_e\times{N_e}\times{400}}} r∈RNe×Ne×400，其中元素 r i j ∈ R 400 × 1 r_{ij}\in{\mathbb{R}^{400\times1}} rij∈R400×1表示源实体 e i e_i ei和目标实体 e j e_j ej之间的关系
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-M1FhcQrp-1678795482968)(null#pic_center)]
得到结构信息后计算关系偏差：
然后利用多头注意力将实体特征、关系偏差和图像特征融合：
Specific Knowledge
在预先构建的存储库中进行相似报告检索
- 建立{图像，报告}的知识库
- 提取视觉特征 I I I，利用 I I I计算疾病标签上的分布 Y ( i ) = s o f t m a x ( A v g P o o l ( I ( i ) ) W c + b c ) Y^{(i)}=softmax(AvgPool(I^{(i)})W_c+b_c) Y(i)=softmax(AvgPool(I(i))Wc+bc)
- 计算输入图像的疾病分布 Y Y Y与库中样本的疾病分布 Y ( i ) Y^{(i)} Y(i)的KL散度 s c o r e = 1 − ∑ j = 0 N c Y j l n Y j Y j ( i ) score=1-\sum\limits_{j=0}^{N_c}Y_jln\frac{Y_j}{Y_j^{(i)}} score=1−j=0∑NcYjlnYj(i)Yj
从检索到的报告中挖掘特定的知识
- 对于输入的图像，从存储库中选取前k个最相似的记录，然后从检索到的报告R中提取命名实体T，论文使用的是Stanza（命名实体识别器），例如检索到的报告为““pneumothorax or pleural effusion is seen”，提取的实体集合T为{pneumothorax, pleural, effusion}
- 利用实体在RadGraph中的三元组集合查询特定知识K
- 将获得的三联体连接成一句话，提供给Clinical-Bert，输出图像的特定知识 E s E_s Es
- 利用多通道语义将特定知识进一步融合到视觉特征中
Generator
最后输入Decoder的是 I I I、 C g C_g Cg、 C s C_s Cs的concat
损失如下：
4602
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
