alimuhamad的博客

原创 中文CLIP快速上手指南

当前OpenAI提出的CLIP是AI领域内最火热的多模态预训练模型，简单的图文双塔结构让多模态表征学习变得异常简单。此前CLIP只有官方英文版本，如果想在中文领域尤其是业务当中使用这种强大的表征模型，需要非常麻烦的翻译工作。近期达摩院提出中文版本CLIP，Chinese CLIP系列，在ModelScope和Github均已开源，并且代码也已经并入Huggingface Transformers，在检索任务上效果非常好。这里就根据Chinese CLIP官方介绍来做个简单的快速上手指南。