Tags: Diagnosis Prediction
Authors: Chuanqi Tan, Songfang Huang, Zheng Yuan
Created Date: January 10, 2024 2:48 PM
Status: Reading
organization: Alibaba Group, Tsinghua University
publisher : ACL
year: 2022
code: https://github.com/ganjinzero/icd-msmn
paper: https://aclanthology.org/2022.acl-short.91.pdf
介绍
过去的工作通常使用标签注意力来匹配相关的文本片段。本文认为编码的同义词能提供更加丰富的信息，因为电子病历中的表达方式通常与ICD编码的描述不一致。因此作者将ICD编码与UMLS中的概念进行了对齐，并收集了一些同义词。
文中样例：编码244.9的icd描述为“Unspecified hypothyroidism “，但在电子病历中通常与”low t4“和“subthyroidism”相关。
方法
代码同义词
作者首先将ICD编码与UMLS中的医学概念进行对齐，然后从UMLS中选择相应的英文词汇的同义词，这些同义词具有相同的概念唯一标识符（CUIs），并通过去除连字符和“NOS”（Not Otherwise Specified）一词添加附加的同义词。
这里有个超参M，表示每个ICD编码有M个描述（包括原始描述）
编码
文中表示使用诸如BERT等预训练模型对提升最终性能没啥帮助，因此使用多层双向LSTM。
其中N为单词个数。
对于每个编码的同义词，作者使用相同编码器加上一个最大池化层来获取表示：
多同义词注意力（Multi-synonyms Attention）
为了增加文本与同义词的交互，作者提出了一种多同义词注意力。
首先设置超参M，即有M个同义词，将表示H分成M份：
其中：
然后，将qj与Hj对应起来，求注意力得分αlj（l表示某个标签，j表示第j个同义词，α的维度为Nx1）。
再使用最大池化球的当前标签的特征（code-wise text representations）vl：
分类器
用同义词特征的最大池化作为编码表示，然后计算最终得分
实验结果
931
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
