本地部署大模型+anythingllm连接知识库

一、部署

先去ollama官网下载ollama（一个大模型管理平台）

接着可以进官网搜索models，找到对应模型的下载命令

查看模型的详细信息：ollama info <model>

删除模型：ollama remove <model>

 

二、接知识库

1、下载anythingllm（一个大模型框架，提供一种灵活的方式来继承和使用不同的语言模型，包括托管在ollama或其他平台上的模型）

2、前置设置

选择模型管理器（llm providers）：ollama，选择模型：qwen

选择嵌入模型（embedder）：把你上传的文本、表格数据等，处理成数字形式的一种低维嵌入向量数据，选择向量数据库，都选默认的

workspace：把不同知识库分隔成一个个工作区

3、上传知识库

可以上传文件和链接，move to workspace，接着右区save and embed

如果上传的是网页链接，则可能会参杂着很多图形化的无用信息，影响数据的质量</