前言
大语言模型是人工智能的分支,也是自然语言处理的数学模型持续演变优化的产物,从神经网络的CNN,RNN,优化到Transformer,从编码-解码,到现在的解码器。实验科学的本质是在现有前沿理论的基础上,针对新问题,提出新的假设,并转化为数学问题,提出算法,然后验证检验,有效的方法以论文发表,供行业进一步的验证,优化,形成新的算法,因此整个过程遵循科学研究的规律,既没有一夜成名,也没有横空出世,只是在庞大的算法体系的基础上持续优化,创新。
这本 《大语言模型:基础与前沿》 是这个领域截至目前比较全的文献综述,给出了从大语言模型的基本原理,到训练大语言模型的分词,大语言模型的调优,到大语言模型的微调,大语言模型的上下文ICL提示词工程,大语言模型重点应用的增强检索,大语言模型的对齐,减毒,并行计算硬件架构,甚至能源和碳轨迹领域的前沿关键研究论文,基本算法的优劣,价值和演进方向都给出了简评,将近30页的参考文献,可见作者是下了功夫的。
第1章大语言模型:辩论、争论与未来发展方向
概述了 LLM 的辩论、争议和未来发展方向
第2章语言模型和分词
讨论了语言模型和分词的基础知识。
第3章深入阐释了 Transformer 架构。
第4章预训练目标和解码策略
深入分析了 LLM 的预训练,涉及预训练目标和解码策略。
第5章上下文学习和轻量级微调
探讨了这些模型的上下文学习和轻量级微调。
第6章训练更大的模型
讨论了扩大尺度法则、涌现能力、并行、混合训练和低精度训练,以实现训练更大的模型。
第7章介绍稀疏专家模型的概念,实现该模型的路由算法与其他改进措施。
第8章检索增强型语言模型
介绍检索增强型语言模型,包括预训练检索增强型语言模型、通过高效和精简检索进行问答和多跳推理、检索增强型 Transformer 等知识点。
第9章对齐语言模型与人类偏好
探讨对齐语言模型与人类偏好,说明了基于人类反馈、基于语言反馈、基于监督学习进行微调的方法。
第10章减少偏见和有害性
探讨了 LLM 如何帮助减少偏见和有害性,提出了检测与减少偏见及有害性的多种办法。
第11章视觉语言模型
将重点转移到视觉语言模型上,探讨如何将视觉信息整合到语言模型中。
第12章环境影响
阐释了 LLM 对环境的影响,并讨论了能源消耗、温室气体排放等问题。