大模型扫盲

1.大模型基础

prompt，rag，微调(小批量训练模型)+私有化大模型 = 大模型做的几个重要方向！！！

微调之后就可以生成某一行业专业的模型。

RAG原理：

embeeding：说白了就是把词变成向量了  把中国人变成(1，5，6)这种向量

向量存到向量数据库。--向量数据库就是企业的命根子。

之后用户问了问题，就会在向量数据库匹配，匹配相似度最高的前N个,得到段落.

把段落结合提示词给到ai大模型LLM.ai大模型就给出方案.

大语言模型私有化部署和微调:

首先要选一个免费商用的可用的基座大模型: 通义千问

   QWEN-2.5-70B  700亿token的参数。

模型先跑起来(作为一个服务启动)，然后通过脚本 脚本访问端口调用。

调用大模型的脚本

1,读取rag内容 存到向量数据库

2.加载向量数据库

3.创建提问模板

4.到向量数据库匹配 

两个向量的相似度，两个向量夹角越小越相似。

2.langchain

langchain原理

langchain在大语言模型的基础上，做一些应用程序的开发。langchain就是这个开发框架。

组件 存储数据库 向量数据库，把这些组建整合起来的就是chain

agent 帮助我们实现大语言模型和外部交互

langchain的环境和监控

langchain0.2

要获取langsmith apikey。

langchain安装

使用langchain调用llm

1.创建模型

2.准备提示

3.简答的解析数据

4.得到chains

5.直接使用chains来调用

langchain的提示模板

模板

用chain把 模板+模型+解析器拼接

模型如何对外提供服务

使用fastApi就行。添加路由，暴露ip和端口。

langchain构建向量数据库和检索器

chroma可以理解是langchain自带的向量数据库。

1.准备测试数据

2.实例化一个向量数据库 

入参 文档列表，embeeding(采用的向量化技术)

最后就是把向量变成向量空间。之后根据向量余弦值来分辨相似度。

相似度查询

检索器测试，后续要把检索器和大预言模型结合

langchain 检索器(retrvier)和模型结合

上下文就是检索器

实现了根据提供的文本数据来回答了问题。

langchain构建代理agent

假如没有代理

langchain构建RAG的对话应用

加载，切分，向量化，存储

加载:自动从网络爬取相关数据

WebBaseLoader

2.大文本切分

得到chain ---chain2

引入子chain，可以利用上下文实现历史感知。

retriver 检索器。model模型。prompt 提示词。

两个链整合

3.Transformer

input embeeding 把句子变成向量化的数字表示

feed forward 前馈神经网络

利用softmax函数就可以的出缩放点积，从而判断各个元素的注意力权重。

Softmax 函数是一种将实数向量转换为概率分布的函数。给定一个输入向量，Softmax 函数会将向量中的每个元素转换为一个介于 0 到 1 之间的值，并且这些值的总和为 1，这样就可以将其解释为概率。

W矩阵是训练出来的，W矩阵(传输矩阵)都是可以通过神经网络反向传播更新的。

缩放点积注意力(注意力)这样做可以得到特征

addnormal

把原始的结果和注意力算完的Z矩阵结合到一起。

虚线就是short cut，增加了网络的可扩展性。

Add的好处:

好处1.X=X+Z，可以加入新的东西，网络效果更好

好处2.把Z里的东西都变成0 可以排除干扰，网络不会变差。

好处3.把X+Z，可以直接把梯度往深层传播。

Normalize:标准化

正则化处理，layer normal。正则化处理之后更不容易梯度爆炸，更好训练。

BN 一批数据都得搞成一样长度再放到网络里，这样如果本来句子长，他的影响就大。就影响准确性。 针对一批一起normalization。NLP 句子有长有短，按照批次来处理不好。

LN layer normal

单独针对横线的一条 来进行normallize

4.prompt

1.使用技巧

1.要给出清晰的提示模板

2.给模型更多思考时间

2.实践

1.配置环境变量

2.定义message和response 

给例子会更准确，效果特别好！！！

多轮对话:

把多轮对话上下文放入prompt