大模型/ChatGPT/AIGC、论文审稿、具身智能、RAG等11大系列集锦

近期则专攻AIGC/ChatGPT，而自己在本blog上也着实花费了巨大的时间和精力，写的东西可能也够几本书的内容了。然不管怎样，希望我能真真正正的为读者提供实实在在的价值与帮助。

下面，敬请观赏。有任何问题，欢迎随时不吝指正(同时，若你也能帮助回复blog内留言的任何朋友的问题，欢迎你随时不吝分享&回复，我们一起讨论，互帮互助，谢谢)。

无私分享，造福天下

以下是本blog内的微软面试100题系列、经典算法研究系列、程序员编程艺术系列、红黑树系列、机器学习十大算法系列、AIGC/ChatGPT等6大经典原创系列作品与一些重要文章的集锦：

一、大模型与ChatGPT系列：原理、论文、代码、应用

• 1.1 ChatGPT的原理与实现系列

• *ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT-N、instructGPT*

• 强化学习极简入门：通俗理解MDP、DP MC TC和Q学习、策略梯度、PPO

• 从零实现带RLHF的类ChatGPT：逐行解析微软DeepSpeed Chat的源码

• RLHF的替代算法之DPO原理解析：从RLHF、Claude的RAILF到DPO、Zephyr

• LLM/ChatGPT与多模态必读论文150篇(已更至第101篇)

• 1.2 国内外类ChatGPT：比如Llama2、Mistral、Llama3、Llama3.1

• LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙

• 详解带RLHF的类ChatGPT：从TRL、ChatLLaMA到ColossalChat、DSC

• ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现

• baichuan7B/13B的原理与微调：从baichuan的SFT实现到baichuan2的RLHF实现

• 从Mistral 7B到MoE模型Mixtral 8x7B的全面解析：从原理分析到代码解读

• 一文速览Llama 3：从Llama 3的模型架构到如何把长度扩展到100万——基于NTK-aware插值

• 一文速览Llama 3.1——对其92页paper的全面细致解读：涵盖语言、视觉、语音的架构、原理

• // 待更…

• 1.3 大模型背后的关键技术与前沿发展：LoRA/并行训练/长度扩展

• LLM高效参数微调方法：从Prefix Tuning、Prompt Tuning、P-Tuning V1/V2到LoRA、QLoRA(含对模型量化的解释)

• 大模型并行训练指南：通俗理解Megatron-DeepSpeed之模型并行与数据并行

• 通透理解FlashAttention与FlashAttention2：全面降低显存读写、加快计算速度

• 大模型长度扩展综述：从直接外推ALiBi、插值PI、NTK-aware插值(对此介绍最详)、YaRN到S2-Attention

• 大模型上下文长度的超强扩展：从LongLoRA到LongQLoRA(含源码剖析)

• 1.4 医疗及LLM与KG、DB的结合

• 医疗金融法律大模型：从ChatDoctor到BloombergGPT/FinGPT/FinBERT、ChatLaw/LawGPT_zh

• 知识图谱实战导论：从什么是KG到LLM与KG/DB的结合实战

• …// 待更…

二、对Transformer的各种挑战：mamba、KAN、TTT等

• Transformer通俗笔记：从Word2Vec、Seq2Seq逐步理解到GPT、BERT