Conditional Reconstruction Pretraining

Reconstruction 是一种常用的预训练方式，包括

1. 原数据作为input
2. mask掉一部分作为input (如Kaiming的MAE)

对于pair数据的预训练，可以考虑Conditional Reconstruction Pretraining。

PAPER 1：《ADVANCING RADIOGRAPH REPRESENTATION LEARNING WITH MASKED RECORD MODELING》

modality_a 和 modality_b 都做 reconstruction，其中一个modality可以作为另一个modality的condition。
mask掉的是两个modality强相关的内容，这样pretrain出来的encoder/decoder能更好捕获重点内容。

PAPER 2：《CoCa: Contrastive Captioners are Image-Text Foundation Models》

让modality_b作为condition，来reconstruct modality_a，
为了让condition modality_b真正有效，两个modality必须强相关，
防止即使不用condition modality_b时，modality_a也能重建的很好。