讲在开头!
适用:完全没接触过以下方法的朋友;最近探索研究方向,看的比较杂
1,2,3效果:2倍速听完能明白方法
4:深度学习入门
1.对比学习
链接:【2023最好出创新点的研究方向:对比学习,华理博士精讲SimCLR、SimCSE、Multiview、BYOL四大对比学习经典论文,轻松搞定论文创新点!】
https://www.bilibili.com/video/BV1WR4y1b76q/p=3&share_source=copy_web&vd_source=2cab9613692c5f03b22754836a42a9f6
之前完全不了解对比学习,听完第一个视频就差不多懂是个什么
2.Prompt learning
链接:【从入门到提示词工程师:全网最通俗易懂Prompt-Learning提示词学习教程!草履虫都学的会!】 https://www.bilibili.com/video/BV1sV411P7e2/p=6&share_source=copy_web&vd_source=2cab9613692c5f03b22754836a42a9f6
这个讲的挺好的,听完甚至有点思路,但是听完之后上不了手,写不了代码
——————————————————————————————————
清华的OpenPrompt!不愧是清华,github上有详细的上手步骤!
OpenPrompt的链接:https://github.com/thunlp/OpenPrompt
(国内进不去多试几遍,总有一次可以)
3.Instruct learning
【InstructGPT 论文精读【论文精读·48】】https://www.bilibili.com/video/BV1hd4y187CR/share_source=copy_web&vd_source=2cab9613692c5f03b22754836a42a9f6
InstructGPT论文链接:https://arxiv.org/pdf/2203.02155.pdf
首先InstructGPT,沐神讲的论文↑
其次是Instruct Tuning↓
Instruct Tuning论文链接:https://arxiv.org/pdf/2109.01652.pdf
4.其他-深度学习入门学习
1)B站的up推荐:跟李沐学AI --沐神讲的好啊!
2)B站的课程推荐:李宏毅的机器学习 --当时是完全不懂去听的,入门理解可用,有意思的宝可梦老师
3)B站的课程推荐:(莫烦Python)【Pytorch深度学习入门必学教程】 --python+pytorch版本的机器学习入门上手,当时是2和3配合食用
链接: https://www.bilibili.com/video/BV12Q4y1r7om/spm_id_from=333.337.searchcard.all.click&vd_source=9a8fdb43828a1c8b428a76b8fcc963ca
4)上手项目:复旦邱锡鹏老师组的入门任务,github和csdn有一些可以跑通的代码
nlp-beginner链接: https://github.com/FudanNLP/nlp-beginner
5)没事看看github、arxiv、知乎、小红书、比较有质量的微信公众号,有最新的论文(虽然现在大语言模型日新月异,压根跟不上。),主要还是动手,找有代码的论文跑通、复现
6)完全理解基础论文:自然语言这块就是bert、transformer这种,几乎每篇论文都逃不过
写在最后:一入科研深似海;论文天花乱坠,但代码不给/跑不通/效果和原文report差很多;心理准备要充足