AI大模型01：大模型应用开发基础_embeddings:把文字转换为更易于相似度计算的编码。这种编码叫向量-CSDN博客

本文链接：https://blog.csdn.net/Mimo_YY/article/details/139933628

AGI–通用人工智能

一、大模型能做的事

1.按格式输出内容
eg:固定格式的邮件标题+正文
Dear 收件人（name）:
请联系我司HR（HRname），联系电话（HRphone）!
{
“name”:“Aline”
“HRname”:“Baay”
“HRphone”:“010-123456”
}
2.分类
Q：根据给定的新闻标题，判断该新闻属于【政治/经济/科技/娱乐】中的哪一类？直接给出答案。ChatGPT写电影剧本了，未来好莱坞大片或将用上这项浙江技术
A：科技
3.聚类
Q：判断以下句子，同一个意思的请聚合在一起。
月薪多少？
一个月能赚几个钱？
吃饭多少钱？
月薪不够花怎么办？
每个月赚的没有花的多怎么办？
月入水平

输出‘[]’标识的数组，每类一组，直接给出答案。
A：[“月薪多少？”,“一个月能赚几个钱？”,“月入水平”]
[“吃饭多少钱？”]
[“月薪不够花怎么办？”,“每个月赚的没有花的多怎么办？”]

4.持续互动
Q：下棋，走了一步
A：下棋走了第二步
Q：走第三步
5.技术相关问题
各语言编程

等等。。。

二、大模型的内部原理

大模型是怎么生成结果的？

通俗原理：
**它只是根据上文，猜下一个词（的概率）
根据上文，推出接下来的一个词有N个，这N个有权重大小的差别，一般会优先概率大的词。
eg:你吃
大模型猜下一个词可能是什么（概率）：饭0.7 药0.1 水果0.2 ，
那么大模型会组成这样：你吃饭

然后再根据【你吃饭】推测下一个词可能是什么，由此组成一个完成的句子。

OpenAI的接口名叫【completion】，本质是只会【生成】

略深原理：
训练和推理是大模型工作的两个核心过程。
训练：学习
（1）机器学习：大模型阅读人类说过的所有话
（2）训练过程会把不同token同时出现的概率存入【神经网络】文件。保存的数据就是【参数】，也叫【权重】。
推理：使用
（1）我们给推理程序若干个token，程序会加载大模型权重，算出概率最高的下一个token是什么。
（2）用生产的 token，再加上上文，就能继续生成下一个token。以此类推，生成更多文字。

Q:token是什么？
A:token是一个单位，他实际可能是一个中文词组、一个汉字、半个汉字、三分之一个汉字、一个英文单词、半个单词、三分之一个单词等。。。
补充：大模型在开始训练之前，需要先训练一个tokenizer模型。他能把所有的文本切成token。

Q:生成的文字什么时候结束？
A:在程序中会有变量控制字数，例如：max_token=512；
或推理中可判断出接下来大概率是没有后文的，也会结束。

再深一点的原理理解：
这套生成机制的内核叫【Transformer架构】。

三、大模型应用架构

AI Mbedded 模式：AI只参与业务中某一环节的某一小部分
AI Copilot 模式：业务中的大部分环节AI都能参与一些（✔️）
AI Agent 模式：AI 自己完全实现业务内容

RAG：(要补充知识)
1.Embeddings:把文字转换为更易于相似度计算的编码。这种编码叫向量。
2.向量数据库：把向量存起来，方便查找。
3.向量搜索：根据输入向量，找到最相似的向量。

通俗理解:考试答题时，到书上找相关内容，再结合题目组成答案，然后就都忘了，大模型不会学习本次找到的内容，回答完问题就忘记了。
Fine-tuning(精调/微调)：
把向量数据库的内容直接训练到基础大模型，构成一个新的大模型（Fine-tuning model）。
通俗理解：努力学习考试内容，长期记住，活学活用。

Function Calling(对接其他系统)
是大模型和外部系统沟通的唯一通道。

基础模型的选择：
合规和安全是首要考虑因素。没有最好的模型，只有最适合的模型。
toC:（面向用户，法律规定）不可以使用国外闭源大模型
toG:（面向国内政府，对核心数据的安全性考虑）不可以使用国外闭源大模型
toB: 基本无限制，可使用国外/国产闭源大模型，开源大模型
出海：基本无限制，可使用国外/国产闭源大模型，开源大模型
*数据安全特别重要：不可以使用国外/国产闭源大模型

一些AI对话产品：

AI对话产品（大模型）	网址
ChatGPT（GPT3.5、GPT4.0）	http://chat.openai.com/
Copilot（GPT4.0）	http://copilot.microsoft.com/
Gemini（Gemini）	http://bard.google.com/
Claude（Claude）	http://Claude.ai/
文心一言（文心4.0）	http://yiyan.baidu.com/
通义千问（通义千问）	http://tongyi.aliyun.com/qianwen
智谱清言（GLM4.0）	http://chatglm.cn/
Kimi Chat（Moonshot）	http://kimi.moonshot.cn/
星野（abab6）	http://www.xingyeai.com/