有意思的研究论文
文章平均质量分 58
一只想飞的锦鲤
这个作者很懒,什么都没留下…
展开
-
大模型时代下的paper生存= =
(我还挺喜欢的,不知道自己什么时候可以搞出这种工作(为什么中英文穿插,利于自己写论文:)原创 2023-04-11 17:19:27 · 1247 阅读 · 1 评论 -
比较有意义的知乎博客搜集
感觉别人写的好牛呀。原创 2023-04-10 12:02:22 · 122 阅读 · 0 评论 -
大模型时代下做科研的思路
总结zhu老师观点Efficient1.这篇论文是真的好orz,总结了目前的视频类模型修改周边的一些参数,来训练,不改基础的模型(太大了。。。没资源没卡)引申:prompt 是你想模型干什么你就给提示(简单来说)什么是tuning呢? 就是调可能更好 (设计不同效果不一样)hard prompt:固定的COOP:soft prompt 自己学PEFT5. mixgen——这篇论文 一个模块 几个任务有涨点就行。怎么利用好大的模型,这样即使大模型不断发展也关我们没什么事情,因为设原创 2023-04-06 22:14:27 · 796 阅读 · 0 评论 -
多模态预训练精读总结(zhu老师的课
1.这篇工作的 visual encoder 不仅diss 之前的效率不高(之前是目标检测),更重要的一点是,在它看来,之前预先提取好的目标检测的物体特征 因为已经提取好了,不是end-to-end,所以导致多模态融合那块或者说多模态匹配那块,很可能会得到不好的结果。(multimodal encoder 学不好)how to do?它们决定 先 align 再 fuse,使用一个对比学习loss——ITC(看到这里感觉这个不是之前有的吗?原创 2023-04-06 17:33:00 · 578 阅读 · 0 评论 -
MoCo论文精读
前两者是会不变的第三种是会改变的第四种是两个概率分布之间的差异和对比loss很像。原创 2023-03-22 21:13:45 · 170 阅读 · 2 评论 -
clip精读
不改变大模型的参数,只是训练万分之一的参数来进行。更好。原创 2023-03-22 16:38:24 · 801 阅读 · 0 评论