目前场景图任务的主要难点包括:
复杂场景的建模:场景图需要对复杂的场景进行建模,包括物体、关系、场景上下文等。但是现有的场景图模型可能会受到复杂场景的噪声和变化的影响,导致建模不准确。
对称和遮挡问题:在某些场景中,物体会相互遮挡,或者存在对称结构。这会对场景图任务的准确性造成挑战。
小样本学习:场景图任务中需要收集大量的标注数据,但是收集和标注大规模场景图数据成本高昂。如何应对小样本学习问题,提高模型的泛化能力,是场景图任务的重要研究方向。
可以继续研究的方向包括:
- 多模态场景图任务:在场景图任务中融合不同模态的信息,如文本、语音等,可以提高模型的表现。