本地大模型7:AnythingLLM的下载使用——本地大模型接入知识库

 1.打开本地ollama服务

        键盘win+R->输入cmd,回车->输入ollama serve,回车

2.下载安装AnythingLLM

点击前往官网,选择适合自己的操作系统下载,这里是windows,下载好后双击安装,修改路径即可,安装过程可能需要几分钟。

下载成功

安装

3.配置

3.1 下面是打开后的界面,点击进入

3.2 下滑找的Ollama,选择本地下载好的模型(这里是llama3.1:8b),然后点击下一步两次

3.3 输入邮箱地址,选择个人,点击下一步

3.4 起一个工作区名称,点击下一步

3.5 进入欢迎界面,点击进行测试基础的模型对话,比如讲个笑话

3.6 修改语言,进入设置,改成Chinese

4.知识库上传

4.1 上传前测试

4.2 点击上传按钮,这里可以上传本地的,也可以是网页,这里是网页(小米13价格)

4.3 下滑输入网页,点击获取

https://www.mi.com/shop/buy/detail?product_id=17971&cfrom=search

4.4 获取成功后选中,点击移动到工作区

4.5 下滑到最后,点击嵌入,显示成功后就关闭这个上传页面回到对话

4.6 上传后测试,可以看到虽然已经有价格了,但是是不对的

4.7 查看大模型找到的数据,可以看到并没有关于价格的,而且还非常的不“干净”,说明这种通过网页获取的数据的回答不行。

4.8 选择本地数据,新建一个文本test.txt

4.9 上传test.txt,重复4.4-4.6

4.10 再次测试,可以看到这次就成功了

### 本地部署 DeepSeek 及其知识库 #### 安装 Ollama 为了能够在本地环境中成功运行 DeepSeek,首先需要安装 Ollama。这一步骤对于确保后续操作顺利至关重要[^2]。 ```bash ollama install ``` 此命令会自动完成 Ollama 的下载与配置工作,使得用户可以快速进入下一步的操作流程。 #### 获取 DeepSeek 模型文件 接着,获取 DeepSeek 所需的模型文件是必不可少的一环。可以通过 ChatBox 导入 Ollama 本地模型来实现这一点,具体方法已在先前的文章中有详细介绍[^1]。 #### 构建本地知识库 不同于仅依赖于即时对话记录的方式,构建本地知识库意味着预先加载一系列文档资料至大模型中。这一过程可通过 AnythingLLM 来达成: - **下载并安装 AnythingLLM**:这是创建个性化知识库的关键工具之一。 - **准备待处理的数据集**:整理好想要让机器学习或查询的信息源,比如 PDF 文件、网页链接或是纯文本等格式的内容。 - **利用嵌入模型转换数据**:采用特定算法(如 BGE-M3),把收集来的材料转化为计算机能够理解的形式——即向量表示法[^4]。 ```bash ollama pull bge-m3 ``` 上述指令展示了怎样从远程仓库拉取指定版本的嵌入模型;它负责将原始文本映射成高维空间里的点位集合,从而便于之后检索相似项或者支持更复杂的自然语言处理任务。 #### 整合进 Dify 开发框架 (可选) 如果希望进一步增强系统的灵活性和扩展性,则可以选择将其接入像 Dify 这样的第三方平台之上。这样做不仅有助于简化管理维护的工作量,而且还能更好地保护敏感信息不被泄露出去[^3]。 ---
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值