2023.10.10

继续昨天的安排，阅读论文，跑通代码

我理解，因果干预 casual intervention 是用 mediator 将原来干扰因子导致的错误的z->f进行修正，变成正确的f>m>r。

另一个理解是，将因果之间的概率增加一个mediator的聚合概率。

encoder 和 decoder 的结构

两个预训练任务，左边是 Mask Image Modeling，右边是Prefix Language Modeling。

在生成前加入两个模态的去干扰模块。

随后的因果部分没太看懂

实现：use the first three blocks of ResNet101 [61] to extract 1,024 feature maps, which are projected into 512 maps of size 14×14.

两个数据集的模型设置不一样，IU-Xray是3层，MIMIC-CXR是6层。

两个数据集的 tokenizer 混合的。

实验很充分，baseline比较，定量分析，定性分析，消融实验，案例分析。

具体细节边看代码遍对照论文学习。

训练流程：①预训练，②微调，即因果干预

环境pytorch1131，数据集和r2gen，r2gencmn相同，已训练好的模型下载

给了测试的说明，没有训练的说明。

首先，验证测试得结果是否与原文一致。

CUDA_VISIBLE_DEVICES=0 nohup python main.py --c config/iu_xray/vlci.json &> 10_10.txt &

报错 cuda 大小不够，解决

测试使用7G内存，用时很短，IU-Xray上和原论文结果一致，MIMIC-CXR上和与论文结果一致，但是没有CE指标。

下一步，遍找到CE指标，边开始探索训练，然后对照论文