1.ollama、deepseek、dify介绍
ollama
Ollama是一个功能强大且灵活的开源工具,Ollama 是一个开源的 AI 模型后端框架,专注于提供高效的模型推理能力。为大语言模型的本地部署和管理提供了便利,适用于多种场景下的学习和开发工作。 综上所述,Ollama是一个功能强大且灵活的开源工具,为大语言模型的本地部署和管理提供了便利,适用于多种场景下的学习和开发工作。
Ollama框架将AI模型的权重文件与预处理代码结合,用户只需提供输入文本,框架即利用模型进行推理并生成输出。
deepseek
deepseek是一家专注于人工智能技术研究与应的公司,提供特定的AI模型权重文件(如LLaMA、Mistral等),这些权重文件可以被Ollama框架使用。Ollama 和 DeepSeek 可能会进一步融合,提升AI模型的加载效率和推理性能
模型桌面应用介绍
dify
是一款开源的大语言模型(LLM模型)应用开发平台,为开发者提供了快速搭建生产级生成式AI应用的能力,内置一个直观简洁的强大的Prompt编排工具,具备增强搜索生成功能(RAG),可高化构建提供一个可视化的画布,让开发者可以在画布上快速构建安出一个可执行的自动化任务的AI应用。支持监控和分析应用程序日志和性能,并提出了后端即服务,主要体现在所有产品都附带相应的API,方便开发者将Dify集成到自己的业务中,实现数据的解耦和业务快速扩展。
综述,Dify它提供了从数据处理到模型部署再到应用监控的一系列完整解决方案,非常适合希望快速开发和部署 AI 应用的团队和个人使用。它提供了从数据处理到模型部署再到应用监控的一系列完整解决方案,非常适合希望快速开发和部署 AI 应用的团队和个人使用。
Dify手册参考
Cherry Studio
Cherry Studio 提供开源代码,鼓励用户自行定制和扩展,打造专属的 GPT 助手;是一个支持多模型服务的桌面客户端,为专业用户而打造,内置 30 多个行业的智能助手,帮助用户在多种场景下提升工作效率.,Cherry Studio 内置了很多服务商,集成了超过 300 多个大语言模型。在使用过程中,你可以随意切换模型来回答问题,充分利用各个大模型的优势解决问题。兼容Window和macOS 两大主流操作系统 。
2.构建知识库的目的
deepseek+dify可用于高效地检索信息,构建知识库能从大量文本中提取有用的信息并组织起来,以便 后续的查询和应用。概括的说可以实现以下功能:
- 多模态信息检索 :支持文本和图像的检索
- 智能问题系统 :支持构建安基于知识库的智能问答,用户输入问题时系统 能快速从知识库中提取相关答案或解释
- 内容推荐与分类:根据用户的兴趣或行为,从知识库中提取相关内容进行推荐等
- 文本摘要与信息提取:从大量文档中自动提取关键信息,并生成简洁的总结。
- 对话系统支持:基于预训练对话模型(LLM),结合知识库内容,构建更智能的对话系统 。
3.如何构建
3.1.deepseek+dify构建
下载docker Desktop
dify需要通过docker Desktop启,如果没有docker需要先进行安装,下载好的exe双击即可安装。然后需要重启电脑
下载dify源代码
Dify下载地址进入后,本发安装GIT的可用命令直接clone,命令如下所示:
git clone https://github.com/langgenius/dify.git
没有的可以download Zip包,如下所示:
本地部署安装及启动
下载解压后,进入docker目录
#进入docker目录
cd dify-main/docker
#设置环境变量
copy .env.example .evn #windows系统手动copy就可以了
#启动服务
docker compose up -d #通过docker ccompose version查看版本,如果是1用命令docker-compose up -d
#停止服务命令
docker compose down
上述如果启动成功后,可在浏览器中访问 http://localhost/install,并按照提示完成初始化相应配置即可。
http://localhost/install
上述如果顺利的话,运行完就能访问进行管理员账号设置了。我这边进行时一直不是很顺利。手动更新了wsl;网络原因限制,一起无法启动。
参考下 这个文档吧。https://blog.csdn.net/qq_38737204/article/details/144666192
我没有启成功,就不写配置了,主要原因是docker 启动时镜像源无法获取,网络原因导致。
3.2 deepseek+cherry Stuido构建
安装ollama 嵌入模型
ollama pull bge-m3
cherry 下载安装
cherry配置
在弹出的管理页中选择相应模型的加号,即自动配置本地模型了。减号代表已选择了
选好模型后,进行知识库配置。自己起个名字即可,选择相应的模型
接下来就可以使用我们的知识库了,上传文档支持多种格式,也可以上传目录,网址等,当出现绿色对号后说明向量化完成。
搜索验证
输入要搜索的内容,然后点搜索,怎一个爽字了得,可以了。
后面想使用时,直接在对话中搜索就可以了。如下所示参考:
注意强调:注意知识库若存在隐私数据,切记,谨慎联网操作