为什么加一个文本前缀it is a photo of,模型表现会更好,是因为这是一种prompt engineering的手段
- 一方面能提供一定上下文信息,如强调送入语言模型的文本信息是描述图片内容的
- 另一方面是clip预训练图文对中文本信息通常是一句话,而不是一个词。通过加前缀这个处理,缩小了测试和训练的gap
这是clip原文中描述这一问题的片段:
为什么加一个文本前缀it is a photo of,模型表现会更好,是因为这是一种prompt engineering的手段
这是clip原文中描述这一问题的片段: