关于兴军老师讲AI-大语言模型的学习笔记

写在最前：周日下午和晚上兴军老师给UGP小伙伴们深入浅出地讲了4小时的AI发展20年。兴军老师讲的是100分，我吸收到的只有30分。现在将我的30分整理巩固下，也分享给对AI感兴趣的，之前不了解AI的朋友们。

一、AI和概率

1.1AI本质是一个经过简化的概率

从时间轴上看人类所有的问题都是概率
出生即是概率，早上穿什么衣服鞋，接受或拒绝别人的帮助，回应或不回应，热情回应或冷漠回应…总之所有事都主打一个概率。概率准但不绝对准，物理和逻辑在很多时候无法解释，不符合人类对绝对真理追求的特性，但能拿到绝对有效的结果。

AI是概率的统计，是庞杂的神经网络上概率统计的输入和输出结果。因此通过AI建模的语言模型或者说大部分不确定性系统，都很有效but不好论证。（也因此，AI发展过程中充斥着主流学界的不认可，AI领域的研究者无法发表论文只能在各种比赛上参赛以获得声量和认可。）

GPT等语言模型通过概率解决问题的方法本质上是 结合上下文，推断出接下来一个token出现的概率。token可以粗暴的理解为字符或者文字（汉字中一个偏旁是一个token,英语中大概2/3个单词是一个token）。是的，不是句子也不是单词，是偏旁部首。

这里有几个概念：

1.AI在概率问题的计算上有两种方式：生成式和判别式

生成式：计算联合概率

例如“我是人”这句话，“我”出现后，将“是”字的出现设置为事件A，其发生的概率为0.5，“人”出现的概率为事件B，其概率为0.001，由于事件A和B并没有什么影响，是相互独立的，那么“是人”的概率就是P(A)P(B) = 0.0005

判别式：判断和标注

例如“我是人”这句话，它的情绪是正向的、负向的还是中性的。

2.AI在计算中的简化（马尔可夫-语言模型）

这个语言模型的贡献说白了是发现了“当字数够多的时候，一个字的出现往往只受它相邻的几个字的影响，所以计算上下文的概率只考虑相邻几个字即可”

p(AB)=p(A|B)*p(B)

p(w1)*p（w2|w1）…p(wn|w1，w2…wn-1)

p(w1)*p(w2|w1)*p(w3|w1,w2)*p(w4|w2,w3)

3.PageRank（网页引用权重）

对于一句话一个观点而言，互联网上有成千上万的数据，但每个网页的权重是不一样的，权威网站发表的权威数据可能更为重要，PageRank通过计算随机游走后停留在某一个网页的概率，决定最后应该引用哪个网页。

【一一AGI大模型学习 所有资源获取处一一】

①人工智能/大模型学习路线

②AI产品经理入门指南

③大模型方向必读书籍PDF版

④超详细海量大模型实战项目

⑤LLM大模型系统学习教程

⑥640套-AI大模型报告合集

⑦从0-1入门大模型教程视频

⑧AGI大模型技术公开课名额

二、从向 量到神经网络语言模型

2.1向量

每个字都可以通过一连串的向量表示，计算向量相似度推出关联性（通过cos[余弦]值趋近于零)。来让系统/模型记录在空间里不同语料的相关性。

搜了一下词向量构造方法，感兴趣的点这个网址：https://www.zhihu.com/market/pub/120170855/manuscript/1368488178710532096

2.2神经网络语言模型

表示学习，训练向量 ( word to vec 2012)

通过“我”和“中”的向量计算出“是”的向量出现的概率。需要模型足够大，语料足够多的训练。上面只是一层，但实际上有成千上万层神经网络状的概率计算和表示学习，最终就像这样：

King-man+woman=Queen

programmer-father+mother=homeworker

图为兴军老师在解释AI的图像识别，时间有限暂时不展开。

在这个发展时期人类遇到的问题体现在图像标注，如果想让机器识别图像里的准确内容有什么，需要前期大量的人工标注，让机器学习人工标注的方法来学习（通过概率而非定理或真理）。

三、 GPT其实是他爸爸的一部分：transfomer模型（这里最重要的是理解序列）

transfomer模型训练的输入和输出都是序列，序列比向量的优势在于序列可以定义同一个语料的多个向量组合，比如我说苹果，通过上下文语意的理解，我们才能知道这里的苹果是吃的苹果还是用的苹果公司的设备。

transfomer模型由于时间的关系兴军老师这里没有细讲了，留给日后自己的作业。下图是的transfomer整体架构，成为了日后语言训练的九阴真经，上半部是谷歌BERT模型，下半部是OpenAI的GPT。

BERT不了解不展开，给大家找了资料，总结就是比GPT模型成本高：

NLP必读：十分钟读懂谷歌BERT模型 https://zhuanlan.zhihu.com/p/51413773

GPT

GPT需要人类下达指令训练（prompt），好的prompt可以让你的GPT非常厉害，因此人类接下来应该努力学习如何掌握好的prompt方法。

四、 GPT训练的核心逻辑-标注和判定

Instruct1个序列，out出多个可能的概率结果，就是上图的O1，O2和O3。

然后需要判定哪个结果好，更符合逻辑，这里最早通过人工打分的方式判定可能的好结果比如O3好于O1好于O2，让机器还是通过概率学习掌握人类的打分。之后当规模达到百亿后出现了“涌现”，也就是学习N个任务后可以触类旁通解决N+1个问题。自此机器完成了自身的训练学习闭环，有了判断结果的能力。

对了，由于本质是概率，为了让GPT不是一个信口开河的文字接龙模型，人类用到了RLHF技术，让GPT成为一个人，拥有符合人类的思维方式、表达、和认知三观等等。

GPT功臣——生成领域的新训练范式：RLHF (Reinforcement Learning from Human Feedback) ，即以强化学习方式依据人类反馈优化语言模型。

目前，千亿数据规模的大语言模型——GPT在突飞猛进地进步着，是时候拥有一个你自己的GPT助理了。但是要小心，她不一定对，也可能骗你，对于全新东西没有创造力（但是我们有吗？哈哈）且不可否认的，她可能是你见过的最聪明的人类。

就像兴军老师说的，所有的行业都可以用现在的AI语言模型技术再做一遍交互。这是平民的AI时代和技术。

当然，建造区域化的大语言模型也很重要。不然很快，英语、资本主义、霸权主义背后的世界观，会席卷地球。

深呼吸，学习使用GPT

人工智能大模型越来越火了，离全民大模型的时代不远了，大模型应用场景非常多，不管是做主业还是副业或者别的都行，技多不压身，我这里有一份全套的大模型学习资料，希望给那些想学习大模型的小伙伴们一点帮助！

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓