AnythingLLM使用本地大模型

AnythingLLM

官网：https://anythingllm.com/desktop

下载

访问官网，根据系统下载对应的安装包进行下载

安装

点击安装包进行安装

配置

LLM首选项

选择ollama及自己的模型

嵌入选项

选择ollama及自己的模型

配置工作区选项

配置聊天设置

设置Chat Setting和Vector Database

• Chat模式（Chat/Query）：Query 设置此参数为"Query"的原因是，这样模型仅在找到文档上下文时才提供答案。这意味着模型的回答将更加依赖于检索到的相关文档内容。这样做的好处是能够保证回答的准确性和相关性，避免在没有足够信息支持的情况下生成可能不准确或无关的回答。
• LLM温度（LLM Temperature） LLM（Large Language Model）温度参数的设置是为了控制聊天响应的"随机性"或动态性。设置该参数为0的原因是，这样可以使得模型的回答更加确定和一致。温度值越低，模型在生成回答时选择的单词或短语就越倾向于那些概率最高的，从而减少随机性和不连贯性。推荐的0值意味着模型将尽可能生成最可能的回答，而不是探索多样化的回答。

配置向量数据库

文档相似度阈值（Document similarity threshold） 设置文档相似度阈值是为了确定一个来源文档与聊天内容的相关性。较高的相似度分数（例如≥0.75）意味着只有与聊天内容非常相似的文档才会被考虑用于生成回答。这样做的原因是，可以确保模型在生成回答时使用的信息是高度相关的，从而提高回答的准确性和质量。通过设置较高的相似度阈值，可以过滤掉那些不太相关的文档，减少噪声，使得回答更加精准。

上传文档

上传好文档后与大模型对话时，会找出文档相关的内容进行回答，但是不够精确，回答的与文档内容存在偏差