【AI大模型】复旦大学出品：大规模语言模型·从理论到实践（附pdf）

复旦大学计算科学技术学院教授、博士生导师。主要研究方向是自然语言处理和信息检索，聚焦自然语言表示、信息抽取、鲁棒性和解释性分析等。兼任中国中文信息学会理事、中国中文信息学会理信息检索专委会常务委员、中国人工智能青年工作委员会常务委员、SIGIR

张奇教授主要编辑教材有：《自然语言处理导论》，《大规模语言模型：理论与实践》

《大规模语言模型·从理论到实践》旨在为对大语言模型感兴趣的读者提供一个入门指南，并可作为高年级本科生和研究生自然语言处理相关课程的大语言模型部分补充教材。

章节内容

下载当前版本： 完整版本链接获取

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

大语言模型涉及深度学习、自然语言处理、分布式计算、分布式计算等众多领域。因此，建议读者在阅读本书之前，首先系统地学习深度学习和自然语言处理的相关课程。在分布式计算和异构计算方面，读者需要具备基本的概念。如果希望在大语言模型训练和推理方面进行深入研究，还需要系统学习分布式系统、并行计算、CUDA 编程等相关知识。

本书围绕大语言模型构建的四个主要阶段:预训练、有监督微调、奖励建模和强化学习，详细介绍各阶段使用的算法、数据、难点以及实践经验。

张奇教授主要发表论文 ：

1.Robust Lottery Tickets for Pre-trained Language Models 预训练语言模型的可靠彩票 ACL 2022 ACL 2022 年

2.Divide and Conquer: Text Semantic Matching with Disentangled Keywords and Intents 分而治之：文本语义匹配与分离的关键字和意图 ACL 2022 ACL 2022 年

3.CQG: A Simple and Effective Controlled Generation Framework for Multi-hop Question Generation CQG：一种简单有效的多跳问题生成受控生成框架 ACL 2022 ACL 2022 年

4.Flooding-X: Improving BERT’s Resistance to Adversarial Attacks via Loss-Restricted Fine-Tuning Flooding-X：通过损失限制微调提高 BERT 对对抗性攻击的抵抗力 ACL 2022 ACL 2022 年

5.MINER: Improving Out-of-Vocabulary Named Entity Recognition from an Information Theoretic Perspective MINER：从信息论的角度改进词汇外命名实体识别 ACL 2022 ACL 2022 年

6.TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing TextFlint：用于自然语言处理的统一多语言鲁棒性评估工具包 ACL 2021 ACL 2021 年

7.Unsupervised Summarization for Chat Logs with Topic-Oriented Ranking and Context-Aware Auto-Encoders 具有面向主题的排名和上下文感知自动编码器的聊天记录的无监督摘要 AAAI 2021 AAAI 2021 年

8.Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling 基于显著性感知主题建模的面向主题的客户服务口语对话摘要 AAAI 2021AAAI 2021 年

包括：

• Transformer、GPT基础、LLaMA基础；
• 训练数据介绍与分析；
• 分布式训练代码详解；
• SFT部分（prompt、LoRA、deepspeech等）；
• 强化学习（RLHF等）；
• 大语言模型应用；
• 大语言模型评估。

课件：

第一章 绪论
第二章 大语言模型基础
第三章 大语言模型预训练数据
第四章 分布式模型训练
第五章 有监督微调
第六章 强化学习
第七章 大语言模型应用
第八章 大语言模型评估

下面是目录，看下就知道了

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​