学习计划列表

如果你想做一件事情，那就现在立刻开始，即便是刚开始做的很烂，但随着版本的迭代，一切都会变得更好。

一、学习资源

1、智源社区：https://hub.baai.ac.cn/events
很好资源，整合了人工智能方面的活动、项目、论文的一个平台，还有一年一度的令人激动人心的智源大会，可以见到很多业界大咖。

二、NLP

simsens
bert双塔模型
cbow实现一个语言模型预训练
gpt

三、开源大模型

llama
chatGML
通义千问
百川
面壁

四、闭源大模型

文心一言

五、预训练方法

完形填空
多轮对话
多任务学习
持续学习

六、第二阶技术

融合领域知识库的模型增强技术。

rag agent

langChain
function call
prompt
zero-shot learning
few-shot learning
openai api

七、第三阶技术微调方法

大模型微调技术：SFT、LoRA、qLoRA

结合具体的任务，自己爬数据，实现一些算法
注意算法细节，loss曲线，推理速度

八、大模型是私有化部署

九、分布式计算

模型分布
数据分布
混合分布式

十、工程能力

工程入门优先看

• 【手把手带你实战HuggingFace Transformers-入门篇】基础知识与环境安装

• transformers源码阅读——入门（提高nlp工程师的工程能力）

比较偏理论，时间比较多的时候看

• 【【清华NLP】刘知远团队大模型公开课全网首发｜带你从入门到实战】

十一、多读paper

后面工作稳定了，每天规定一篇英文paper.

十二、专业书籍

1、大规模语言模型：从理论到实践
很不错的一本书，涵盖了大语言模型论文基础、开源大模型介绍、分布式训练、应用实践等，通过阅读这本书可以从整体上了解大语言模型全貌。书中还配套了代码，很赞，边学习，自己边敲代码，看到即刻的结果，真的很有成就感。

十三、关于学习方法

我目前学习一个新的知识，会先购买一本这个领域比较好的一本书，通过书的目录把握这个领域的整体架构；然后挑选自己最感兴趣的那一部分先看，从做感兴趣的这一步份逐渐的往外延伸，用一两天的时间把这本书先过一遍，不明白的，或者自己看不下去的地方先放着。这样，用两天的时间你在这领域已经入门了。然后就是在实际应用或者后面的学习工程中，逐渐吃透每个部分。

十四、代码

代码随想录
配合卡哥录的视频，按照顺序刷题，坚持两个月，代码能力会有质的飞跃。

十五、关于大语言模型的认知

我个人觉得大语言模型是一种高效的生产工具，是一种新的基础设施。

十六、关注前沿应用

https://space.bilibili.com/471000665
https://huggingface.co/spaces/hiyouga/LLaMA-Board