本小节课程是有关MMpretrain的介绍,MMpretrain提供了很多模型以及数据集,可以直接利用其中的API接口去进行调用,省去了自己构建模型的时间。
之后又介绍了配置文件相关的内容,之前我自己也是很笨的跟着AlexNet、VGG去一个卷积核一个卷积地搭建,之后也要逐步熟悉如何使用、编写config文件。
传统的操作方式:
利用配置文件的方式:
注意力机制的讲解,我的理解就是当前的部分不只是与前一个部分有关,而是与之前发生过的所有部分都相关。
我很喜欢这页PPT,他把注意力机制直观形象地表达了出来,尤其是右侧的图像特征,与目标相关性大的对应的权重就越大,颜色也越深。
下面这页PPT也很好的描述了CLIP的工作方式。
这次只是一个笼统的概括,期待之后的上手实操。