如果你想做一件事情,那就现在立刻开始,即便是刚开始做的很烂,但随着版本的迭代,一切都会变得更好。
一、学习资源
1、智源社区:https://hub.baai.ac.cn/events
很好资源,整合了人工智能方面的活动、项目、论文的一个平台,还有一年一度的令人激动人心的智源大会,可以见到很多业界大咖。
二、NLP
simsens
bert双塔模型
cbow实现一个语言模型预训练
gpt
三、开源大模型
llama
chatGML
通义千问
百川
面壁
四、闭源大模型
文心一言
五、预训练方法
完形填空
多轮对话
多任务学习
持续学习
六、第二阶技术
融合领域知识库的模型增强技术。
rag agent
langChain
function call
prompt
zero-shot learning
few-shot learning
openai api
七、第三阶技术微调方法
大模型微调技术:SFT、LoRA、qLoRA
结合具体的任务,自己爬数据,实现一些算法
注意算法细节,loss曲线,推理速度
八、大模型是私有化部署
九、分布式计算
模型分布
数据分布
混合分布式
十、工程能力
工程入门优先看
比较偏理论,时间比较多的时候看
十一、多读paper
后面工作稳定了,每天规定一篇英文paper.
十二、专业书籍
1、大规模语言模型:从理论到实践
很不错的一本书,涵盖了大语言模型论文基础、开源大模型介绍、分布式训练、应用实践等,通过阅读这本书可以从整体上了解大语言模型全貌。书中还配套了代码,很赞,边学习,自己边敲代码,看到即刻的结果,真的很有成就感。
十三、关于学习方法
我目前学习一个新的知识,会先购买一本这个领域比较好的一本书,通过书的目录把握这个领域的整体架构;然后挑选自己最感兴趣的那一部分先看,从做感兴趣的这一步份逐渐的往外延伸,用一两天的时间把这本书先过一遍,不明白的,或者自己看不下去的地方先放着。这样,用两天的时间你在这领域已经入门了。然后就是在实际应用或者后面的学习工程中,逐渐吃透每个部分。
十四、代码
代码随想录
配合卡哥录的视频,按照顺序刷题,坚持两个月,代码能力会有质的飞跃。
十五、关于大语言模型的认知
我个人觉得大语言模型是一种高效的生产工具,是一种新的基础设施。
十六、关注前沿应用
https://space.bilibili.com/471000665
https://huggingface.co/spaces/hiyouga/LLaMA-Board