基于Ollama和AnythingLLM,搭建本地的知识库

大模型玩家

已于 2024-08-14 13:42:15 修改

阅读量884

点赞数 25

文章标签：人工智能深度学习 ai 语言模型机器学习

于 2024-06-04 11:31:43 首次发布

本文链接：https://blog.csdn.net/2401_85375186/article/details/139437955

版权

最近在线的ai式问答在线系统比较火，但是因为是联网，且涉及公司的文档的隐蔽性，所以就想本地搭建一个ai系统，用于部门内部使用，之前尝试使用了LangChain-chatchat，但是由于模型较大，消耗资源较多，经常导致崩溃。
最近网上发现一款ollama的开发工具，不过他只能后台命令行操作，按时结合了anythingLLM以后，瞬间就高大上起来了。本篇文章结合了一些网上的材料，自己做了实践部署。主要分为两部分：安装Ollama模块和安装AnythingLLM模块

安装ollama

1.这个比较简单，直接点击链接下载即可，按照自己的操作系统。https://ollama.com/

2.下载下来后，直接双击即可安装。

3.等到下面的界面，就在命令行中执行下其中的命令即可(默认安装的为大语言模型llama3)。

4.上面显示就说明安装完成了，并且默认下载的llama3的大语言模型，你用可以根据自己的诉求，安装别的大语言模型，注意大语言模型越大，本机消耗的资源比较大。

启动Ollama服务

1、执行如下命令，会在本地的11434端口启动一个服务，供AnythingLLM调用：

ollama serve

注：首次安装默认服务已启动

2、请求服务测试：

curl http://localhost:11434/api/chat -d '{
 "model": "gemma:2b",
 "messages": [
 { "role": "user", "content": "你好" }
 ]
}'

结果默认按照流式返回

安装AnythingLLM

AnythingLLM是一个基于RAG（Retrieval-Augmented Generation）方案构建的开源、高效、可定制的私有知识库解决方案。本文使用的AnythingLLM的Desktop版本，首先从官网（https://useanything.com/ ）下载安装包：

注：下载后直接点击即可安装。

安装完毕后点击Get started开始配置：

配置LLM

这里选择Ollama作为后台的服务，URL这里填写http://127.0.0.1:11434，也就是前面Ollama启动的服务端口，填写后LLM模型选择Ollama

embedding模型也可以更换下

配置Vector Database
Vector Database选择默认的第一个LanceDB：

启动AnythingLLM，配置我的工作区，然后整个操作就可以完成了。

构建自己的本地知识库

在我的工作区，点击上传自己的文档材料

点击上传

选择你的文件，然后点击Move to Workspace即可

然后点击下Save and Embed

上传完成，显示Successful就可以了。然后就可以对话框问答了，当然问答的速度取决于你电脑的配置哦。
后记：
常见的后台Ollama命令如何

(base) localhost:~ ruiliu$ ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help with any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.
(base) localhost:~ ruiliu$ ollama list
NAME            ID              SIZE    MODIFIED
qwen:7b         2091ee8c8d8f    4.5 GB  44 hours ago
gemma:2b        b50d6c999e59    1.7 GB  2 days ago
llama3:latest   a6990ed6be41    4.7 GB  2 days ago
(base) localhost:~ ruiliu$ ollama run gemma:2b
>>> 你好，你是什么大语言模型
你好！我是一个大型语言模型，由 Google 训练的。

我是一个人工智能系统，可以理解和生成自然语言。我能够完成各种任务，包括文本生成、翻译、问答和推理。

零基础如何学习大模型 AI

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型实际应用案例分享

①智能客服：某科技公司员工在学习了大模型课程后，成功开发了一套基于自然语言处理的大模型智能客服系统。该系统不仅提高了客户服务效率，还显著降低了人工成本。
②医疗影像分析：一位医学研究人员通过学习大模型课程，掌握了深度学习技术在医疗影像分析中的应用。他开发的算法能够准确识别肿瘤等病变，为医生提供了有力的诊断辅助。
③金融风险管理：一位金融分析师利用大模型课程中学到的知识，开发了一套信用评分模型。该模型帮助银行更准确地评估贷款申请者的信用风险，降低了不良贷款率。
④智能推荐系统：一位电商平台的工程师在学习大模型课程后，优化了平台的商品推荐算法。新算法提高了用户满意度和购买转化率，为公司带来了显著的增长。
…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。