【深度学习】小概念

好用小工具：

https://lutzroeder.github.io/netron/  网络架构图可视化工具

liner probe与fine-tune

liner probe
将预训练的模型冻住，只从里面抽特征，就训练最后fc分类头层，做有监督的分类任务。 

fine-tune
整个网络都放开，直接做端到端的学习。如果下游数据集比较大，微调比 liner probe 效果好。

 - CLIP 是 liner probe，目的就是为了研究这种和数据集无关的预训练方式。

---

zero shot 与 few shot

zero shot 不训练直接用
few shot 用少量具体任务的样本 fine tune

one shot 每个类别在训练的时候只给模型看一张这种示例图片，two shot 看两张

---

对比学习和孪生网络的区别

孪生网络要共享权重参数，公用一个网络结构；

但是对比学习两个模型可以一点都不一样，不用共享参数；

---

伪标签, 自监督都比监督学习利用数据更好

预训练阶段用了对比学习，利用了文本的提示做了 zero shot 的迁移学习，在大规模数据集和大模型的双向加持下，clip的效果不错。 
打破了固定种类标签的范式， 不论在收集数据、训练模型的时候都不要像 imagenet 那样做1000类，直接搜集这种图片文本配对，用无监督的方式，
要么预测它的相似性，要么去生成它。

---

数据集大学习率大，数据集小学习率小，否则可能稍一学习模型就过拟合了。

---

https://www.bilibili.com/video/BV1nR4y1N7Vj/  ## 请求的域名
?                                             ## ？后面是请求域名所接收的参数
spm_id_from=333.880.my_history.page.click     ## 参数1
&
vd_source=dc27cbd311ff3ca278726381630036f0    ## 参数2