Ollama实现开源大模型本地化安装部署

本文将介绍如何使用ollama实现对开源大模型的本地化部署,让每个有技术能力的企业都可以“套壳”大模型,在各自的专业领域内“遥遥领先“。在本案例中我将使用两个开源的软件:

  • ollama:是一个轻量级可扩展的框架,它可以轻易地帮你管理本地的众多开源大模型,并支持众多的开源大模型,包括llama 2 、gemma、codegemma、Mistral等,并允许用户自定义和创建自己的模型。

  • open-webui:是一个开源的Web界面,用于同各种大语言模型进行交互,并可以同ollama所管理的大语言模型进行快速集成。它提供了一个用户界面,允许用户输入prompt指令,并获得所选择模型生成的响应,由于本地化部署,其返回的结果和人工反馈又可以做为人工标注的数据,对开源大模型进行微调和强化学习用的训练数据。

本文主要介绍如下内容:

  • 安装ollama

  • 选择并安装大模型

  • 安装Open-WebUI

  • 测试大语言模型效果

  • 大语言模型优化

安装Ollama

首先,打开Ollama的官方网站(https://ollama.com/download),如下图所示,选择自己操作系统版本即可:

图片

下载完成之后,双击安装,安装完成之后会在Mac上看到如下的图标,代表安装完成:

图片

选择并安装大模型

在Ollama的官方网站有一个Models菜单,如下图所示:

图片

点击即可看到Ollama所支持的所有大模型列表,这里的下拉列表有很多,读者可以自行研究:

图片

在本例的部署中,我选择了两个7000万左右参数的大模型:

  • Gemma:7b - 7b,代表7000万参数,是google大模型Gemini的开源版本,一个通用领域的大模型

  • CodeGemma:7b,是google出品的专注于代码编写的大模型,同样7000万参数。

我所使用的电脑为14寸MacBook Pro,配置如下图所示:

图片

在此配置下,经亲测,两个7000万参数的大模型在不进行微调和强化学习的情况下,都运行流畅。如果想试验更好的模型,可以选择13b或70b的版本,当然占用的内存和GPU资源也会更高,13b约1.4亿参数,最少内存要求为16G,但是在运行时基本很难忍受返回结果的速度,约1-2分钟会写一个单词出来。

我们以CodeGemma为例,来介绍其部署指令,从上图点击“Codegemma“进入该大模型的详细介绍页面,如下图所示:

图片

点击红框的按钮,即可复制指令,直接在命令提示符下运行即可,如下图所示,即会开始下载大模型并自动化完成部署:

图片

安装完成之后,会马上有一个基于命令行的交互界面,可以输入prompt指令,并获得返回结果,如下图所示:

图片

安装成功!!!

安装Open-WebUI

安装Open- WebUI之前请先安装Docker,如果不了解Docker的请自行上网查询,本文将不再缀述Docker的安装和部署。

安装完Docker之后,我们将继续安装Open-WebUI,进入Open-WebUI的官网(https://docs.openwebui.com/getting-started/),开始安装,如下图所示:

图片

如果将Ollama和OpenWebUI要部署在同一台主机上,请选择红框中的指令,如果是不同的主机请选择红框下方的内容:

  • 同一主机部署

     
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  • 不同主机部署:这里要指明OLLAMA_BASE_URL参数,根据实际情况进行调整即可

     
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  • 安装完成之后运行http://localhost:3000,即可进入如下界面,首次运行需要注册:
    

图片

安装成功!!!

测试大语言模型效果

第一个示例 - Gemma:

从交流的结果来看,7b模型的Gemman已经成功识别你的交流意图了,只是模型内部存放的知识有误,竟然认为ChatGPT是Google开发的。

图片

第二个示例 - Gemma:

第二个示例我上传了一个参与某客户的调研,给出的结果不是重点内容,但是说的内容也没有错,表现一般。

图片

第三个示例 - CodeGemma:

我们希望写一段代码展示特斯拉最近5年的股票数据,及其趋势,代码一次性测试通过,看来这个写代码的微调版本效果还是不错的。

下图为CodeGemma生成的代码:

图片

下图为复制之后,直接运行的结果,一次性运行通过:

图片

第四个示例 - 访问网络内容

无法通过互联网访问外部数据。

图片

效果总结:

在对7000万参数的大型模型进行测试后,我们发现它已经具备了识别人类指令并进行推理的基本能力。但是,由于模型规模和联网能力的限制,其回答问题的内容可能会出错。我相信经过模型微调等优化,一定能够获得更好的效果。

现在它就像是一个九年义务教育的合格毕业生,剩下的就是接受更专业领域的教育,以便能够在某个专业领域工作。

下一步 :优化大模型

优化大模型主要包括如下图所示的4种方法:

图片

  • prompt 方法

指令优化方法在不调整模型参数的情况下,用于优化大型模型的结果。这种方法特别适用于如chatGPT这类大型语言模型,因为它们已经储存了大量的知识信息,并能通过外部工具与互联网数据交互,所以你需要的知识基本上都能得到满意的回答。

然而,对于我目前在本地部署的7000万参数的大型模型,由于其训练过的知识范围非常有限,无论如何优化指令,都难以取得好的效果。

因此,在后续优化针对本地部署的这些模型时,将不会进行指令优化。

  • 知识库

知识库的优化方法(严格意义上不算优化,而是一种外挂,就像玩流时开一个外挂一样)是在一个已经具有基本认知能力的通用大模型的基础上,增加专业领域的知识库。在接收到用户的指令并正确识别意图后,优先到本地关联的知识库中获取匹配的知识信息。然后通过大模型的推理能力,处理后返回给用户。

这是一种在专业领域(如运维、医疗等)中非常快速的使用方法。

  • 微调

这是一种有监督的学习方法。通过使用人为标注的可靠数据,对特定领域(如医疗、法律、运维)的数据集进行模型微调。这样做是希望模型能更好地理解和处理这些领域的语言特征。在特定领域的数据集上进行微调可以有助于提升模型的表现。

  • 强化学习

这是一种结合人机交互中从人类反馈中学习的方法,如聊天机器人、智能问答系统中针对每次返回的结果人类都可以反馈好的或坏的,这些反馈的数据可以使模型更好地理解人类指令,生成更自然、更符合人类期望的回答,从而提升用户体验。如下图所示,为人类的反馈:

图片

下一次发表内容将专注在运维领域知识库的构建,并通过大模型使用该知识库。

  • 15
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值