以下内容来自于复旦邱锡鹏教授八月在粤港澳大湾区大模型讲习班上午的报告，我个人随手记的笔记，可当做学习LLM的简单综述
官方视频回放现在在b战和抖音都下架了，侵删
1.简单了解
Bert 用了transformer 的encoder编码器
Gpt用了transformer 的decoder解码器
Transformer 变形器，变形金刚，2017年谷歌提出
2.人工智能流派:符号主义，连接主义，行为主义等
3.人工智能与人的区别：
人追求记忆运算能力
计算机追求学习思考能力
两者架构不同
4.chatgpt 参数规模，技术细节均不对外公布
几乎可以处理任何语言能够表达的任务
微调，支持下游任务
5.国内，百模大战
6.2022年11月 gpt3.5
2023年3月，gpt4 多模态的雏形
7.语言具有复杂性，歧义性，自然语言，人工语言等
8.预测下一个词的主流方法：神经网络
Transformer模型会看前面所有的词，但计算量大，预测准确，有token限制
9.数据来源很重要，提出问题：如何获取高质量的文本？
10.规模定律，scaling law ，模型能力随着训练计算量的增加而提升
11.prompt engineering
12.LLM的涌现能力:计算量到10的22次方时，模型精确度突增（原因猜测可能是评价指标的问题）
具体表现在三个方面：情景学习（In-context learning）,思维链（Chain of Thought），自然指令学习
13.情景学习，将例子作为输入的一部分给到模型，不改变模型原来的参数，
不同于机器学习基于损失函数转化为优化问题的思想
可以降低下游作人工智能应用的门槛（参考gpt demo网站或者其他许多基于chatgpt开发的小工具）
14.多轮对话形式，实际上是基于上文续写了一段话
15.论文：What Makes In-context Learning Work?
16.情景学习，对给出的例子的标签并不敏感，也就是并不会从输入输出学习推理逻辑，可能只是学习了一种输出形式（也可以这样理解，大模型本身已经包含了许多知识，例子给出的标签可能对原有的知识冲击不大）
17.思维链：分解问题，降低难度，可以某种程度上打破scaling law，不再需增加计算量，也可以提升模型能力
论文：Chain-of-Thought Prompting Elicits Reasoning in LLMs
18.自然指令学习：让模型听懂人说的话，并给出高质量的回答，即对齐
Sft（监督式微调）---建立奖励模型---机器选答案（（这一块我没太听懂什么意思））
19.大模型的评测：
做高考题，gaokao-bench，gpt约等于500分考生
参考论文：Sparks of AGI
20.大模型的不足：个性化问题，实时问题回答不了，不擅长数学计算逻辑推理，容易出现幻觉问题
21.未来方向：文本承载的知识有限，需将大模型与现实世界对齐
论文：Augmented LLMs：a Survey（Lecun）
1.推理：分解复杂任务
2.工具：使用外部工具
论文：Check your facts and try again：~
与外部感知，信息连接起来，使其会看，会听
LM可以写代码>可以调用外部API
论文：HuggingGPT:Solving AI Tasks with ChatGPT and its Friends in HuggingFace 2023
谷歌工作：PaLM-E 具身多模态语言模型
Copilot windows11 AI助手
AutoGPT
Langchain
Llama Index
自主智能体：AI Agent 给其总体目标，自动工作，而chatgpt每步均需要提示
接下来是答疑环节的一些问题
22.国内受制于算力及数据，如何突破？
1.研究新架构
2.垂直领域应用多样性，业务深入度
23.公共算力平台
华为昇腾处理器，国产软硬件结合，moss如何对接国产芯片
24.解决幻觉问题：增加检索模块，与外部知识验证，如langchain
25.OpenAI从网上爬取到的数据，如果是模型本身生成的，会不会减低其本身性能？
如何鉴别高质量数据？
26.可解释性不足：连接主义的通病
可以基于大模型做连接主义+符号主义的融合
语言：粘合剂
27.gpt4未大规模开放商用，原因猜测：计算成本太高，压缩模型量化导致能力下降
28.如果不特别看重数据隐私安全，可以利用云计算平台，降低研发成本
29.nlp领域，LLM几乎覆盖所有子任务
其他领域，如cv ，发展通用大模型的困难？
语言任务：可以通过指令化之后，统一形式
Cv也需要找到统一的指令化形式
扫一扫
3279
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
