前言:
在写这篇文章的时候,我也看了许多测评的文章,总觉得差点意思,都是对通用能力的测评,或者是垂直领域的coder 或者是math能力,就不太适用于我目前的项目,对于任何一个公司开发项目肯定是数据是非常核心的,不能说去直接调用市面给用户使用的大模型的api,需要部署本地大模型进行使用。我的思路,通过本地部署大模型,通过开发平台进行对垂直领域的回答,把chatGPT作为专家模型,进行对比,最后选出参数合适,领域知识全面的模型进行使用,引入项目当中去。
一、模型的测评平台搭建
通过开源项目Open_webUI和Ollama集成进行测试的项目地址我放到了下面
https://github.com/open-webui/open-webui
1.Docker desktop的安装
1.1 Docker desktop下载
网址:https://www.docker.com/products/docker-desktop/
进入网址后:点击Download Docker Desktop,我这里是windows系统,可以选择“Download for Windows - AMD64” 和 “Download for Windows - ARM64”
主要有以下区别:
“Download for Windows - AMD64” 是针对 64 位的 AMD 处理器架构设计的软件版本。
- AMD64 架构在个人电脑领域广泛应用,具有强大的性能和广泛的软件兼容性。它能够处理大量的数据和复杂的计算任务,适用于各种高性能需求的场景,如游戏、图形设计、视频编辑等。
- 很多主流的软件和游戏都针对 AMD64 架构进行了优化,以充分发挥其性能优势。
“Download for Windows - ARM64” 则是针对 ARM64 架构的版本。
ARM64 架构主要用于移动设备和一些低功耗的计算设备,如智能手机、平板电脑和部分轻薄笔记本电脑。近年来,随着技术的发展,ARM64 架构也开始在桌面级电脑市场崭露头角。
ARM64 架构的特点是功耗低、续航能力强,适合对移动性要求较高的用户。
我这里选择的是Download for Windows - AMD64,你根据你的需要进行选择即可
下载完成后你的目录就会有.exe的应用程序
具体的Docker desktop的安装不做过多的赘述,点击下一步下一步安装即可,安装好之后,打开软件主界面是:(这里我调整了主题是暗色系,正常是白色)
我们在 CMD 终端上看。
至此,Docker Desktop 安装告一段落,接下来就是在 安装Ollama平台和Open_webUI
2.Ollama的本地部署
进入网址:Download Ollama on macOS 根据你的需求进行下载即可,我这里直接下载的是windows版本,下载完成后也是在目录里出现了一个exe的文件,点击下一步进行安装即可
ollama部署完成后我们继续进入官网https://ollama.com/,搜索栏进行搜索选择你想用的模型