Linux猿

分词器（Tokenizer）是一种将文本拆分成一系列词汇（Token）的工具。在 NLP 中，Token 可以是一个单词、一个标点符号或者一个子词。因为大模型只能识别数字，不能识别英文单词或者汉语的表示，所以需要将其转换为数字表示，通过唯一的 ID 表示一个词，这样就可以通过 ID 来唯一标识一个词。分词器首先将连续的文本切分成离散的词（Token），然后，为每个词分配一个唯一的标识符（ID），分词器可以实现编码和解析，类似于加解密算法。

本文主要对 cli_demo.py 进行介绍。

本文主要对 ChatGLM2-6B 的运行代码进行解读。

本文主要对 ChatGLM2-6B 模型的部署和推理过程进行介绍。

CSDN博客专家🏆，华为云享专家🏆，Linux、C/C++、云计算、物联网、面试、刷题、算法尽管咨询我，关注我，有问题私聊！

本篇文章主要介绍 M3E 模型的使用方法，关于M3E模型的介绍可以参考。

M3E 是 Moka Massive Mixed Embedding 的缩写。Moka，此模型由 MokaAI 训练，开源和评测，训练脚本使用 uniem ，评测 BenchMark 使用 MTEB-zhMassive，此模型通过千万级 (2200w+) 的中文句对数据集进行训练；Mixed，此模型支持中英双语的同质文本相似度计算，异质文本检索等功能，未来还会支持代码检索；Embedding，此模型是文本嵌入模型，可以将自然语言转换成稠密的向量。

本文以 OpenAI 模型为例，介绍 one-api 具体的处理流程，OpenAI 处理流程基本和非 OpenAI 流程一致。

one-api 关于模型的访问主要分为两种，一种是符合 OpenAI API 规则，另一种是不符合 OpenAI API 规则，其中，不符合规则的需要分别实现。本文主要以 智普AI 为例，介绍处理非 OpenAI API 的流程。下面以访问 智普AI GLM-v4 API 为例，介绍 one-api 具体处理流程。

下面对主函数的各个部分进行详细介绍。

调整 FastGPT 前端工作流页面 AI对话 组件中 AI 模型的选择，默认选择的是 gpt-3.5-turbo，如果选择了 知识库搜索 组件，也需要修改其对应的模型，修改：知识库搜索组件->搜索参数设置->问题优化-> AI模型。进行对话时 FastGPT 报错如下所示。

在调用 Embedding 模型对文档切片向量化的时候 FastGPT 出现如下错误。

本篇文章主要介绍如何在本地手动部署 FastGPT。

本文主要介绍 mongodb 和 pgvector 的安装，为了更快安装，通过 docker 的方式进行安装，本文使用的环境是 ubuntu 20.04。

重新运行 FastGPT 即可。

将 https 改为 http 即可。