深度学习
关注
分享
扫一扫
文章平均质量分 93
litble
前OI选手 / 头疼怎么毕业的AI PhD Student；一天天变菜中
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
如何速成LLM以伪装成一个AI研究者（6）——LoRA，Adapter，P-tuning，量化，QLoRA
LoRA通过低秩分解将微调参数量降低2~3个数量级，同时在多数任务上达到与全量微调相近的性能。结合QLoRA的4-bit量化，甚至可以在单张消费级显卡上微调数十B参数的模型。掌握秩的选择、缩放因子调参、多适配器合并等实践细节，能帮助你更高效地利用LoRA解决实际问题。原创 2026-05-31 22:34:30 · 365 阅读 · 0 评论 -
如何速成LLM以伪装成一个AI研究者（5）——显存估算，显卡选择
免责声明：作者也是伪装的，有错漏属于正常现象，欢迎评论指正。原创 2026-05-15 01:15:25 · 421 阅读 · 0 评论 -
如何速成LLM以伪装成一个AI研究者（4）——PPO，GRPO，DAPO，GSPO
如何速成LLM以伪装成一个AI研究者（1）——循环，卷积，编解码器，注意力，Transformer如何速成LLM以伪装成一个AI研究者（2）——Pre-LN，KV-Cache优化，MoE如何速成LLM以伪装成一个AI研究者（3）——预训练，监督微调，强化学习RLHF/DPOPPO，全程 Proximal Policy Optimization（近端策略优化），是OpenAI在2017年提出的算法：Proximal Policy Optimization AlgorithmsPPO是在传统强化学习的脉络上原创 2026-05-05 19:08:56 · 407 阅读 · 0 评论 -
如何速成LLM以伪装成一个AI研究者（3）——预训练，监督微调，强化学习RLHF/DPO
免责声明：作者也是伪装的，有错漏属于正常现象，欢迎评论指正。原创 2026-04-29 15:05:42 · 406 阅读 · 0 评论 -
如何速成LLM以伪装成一个AI研究者（2）——Pre-LN，KV-Cache优化，MoE
本文通过DeepSeek-V2的技术报告，探讨了现代LLM架构和传统Transformer的区别。下一期还是没想好写什么，不过应该会开始涉及训练相关。原创 2026-04-23 18:21:07 · 444 阅读 · 0 评论 -
如何速成LLM以伪装成一个AI研究者（1）——循环，卷积，编解码器，注意力机制，Transformer
本文跟随经典论文梳理了seq2seq问题，以及LLM架构的理论基础。下一章（还没想好写什么）可能会讨论一些偏实践的问题。原创 2026-04-20 18:36:59 · 405 阅读 · 0 评论 -
图神经网络（GNN）入门笔记（2）——从谱域理解图卷积，ChebNet和GCN实现
与谱域图卷积（Spectral Domain Graph Convolution）对应的是空间域（Spatial Domain）图卷积。本节学习的谱域图卷积指的是通过频率来理解卷积的方法。原创 2024-11-08 17:28:15 · 1431 阅读 · 0 评论 -
图神经网络（GNN）入门笔记（1）——图信号处理与图傅里叶变换
从信号处理基本理论，到图信号处理知识，关于图卷积神经网络本质的学习笔记。原创 2024-11-07 17:11:29 · 1559 阅读 · 0 评论 -
【踩坑】使用CenterNet训练自己的数据时的环境配置与踩坑
使用CenterNet目标检测算法训练自己的数据，环境配置的一些问题原创 2024-03-28 21:46:59 · 1947 阅读 · 0 评论