Reconstruction 是一种常用的预训练方式,包括
- 原数据作为input
- mask掉一部分作为input (如Kaiming的MAE)
对于pair数据的预训练,可以考虑Conditional Reconstruction Pretraining。
PAPER 1:《ADVANCING RADIOGRAPH REPRESENTATION LEARNING WITH MASKED RECORD MODELING》
modality_a 和 modality_b 都做 reconstruction,其中一个modality可以作为另一个modality的condition。
mask掉的是两个modality强相关的内容,这样pretrain出来的encoder/decoder能更好捕获重点内容。
PAPER 2:《CoCa: Contrastive Captioners are Image-Text Foundation Models》
让modality_b作为condition,来reconstruct modality_a,
为了让condition modality_b真正有效,两个modality必须强相关,
防止即使不用condition modality_b时,modality_a也能重建的很好。