使用Ollama本地部署Llama 3.1大模型

于 2024-08-01 15:01:08 发布
阅读量486 收藏 3
点赞数 4
文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48493350/article/details/140848147
版权

Llama 3.1 介绍

2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模型相媲美的模型。

当然 405B 新一代大模型所需要的算力成本也是巨大的，一般的中小型企业和个人需要慎重评估一下成本与产出是否值得应用。好在作为新版本发布的一部分，官方也同时推出全新升级的 Llama 3.1 70B 和 8B 模型版本。

我们今天就在百度智能云 GPU 服务器上来部署体验最新 Llama3.1 8B 模型。

安装环境

硬件环境

  • 百度智能云 GPU 服务器。

本文以百度智能云 GPU 服务器为例进行安装部署，购买计算型 GN5 服务器， 配置 16 核 CPU，64GB 内存，Nvidia Tesla A10 单卡 24G 显存，搭配 100GB SSD 数据盘， 安装 Windows 2022 Server 系统。

  • 如果您使用自己的环境部署，建议 NVIDIA GPU，民用卡 30、40 系列，商用卡 T4、V100、A10 等系列，至少 8G 以上显存。服务器配置建议最低配置为 8 核 32 G 100G 磁盘，5M 带宽。

安装步骤

购买服务器

  1. 登录 控制台 ，按需购买 云服务器 ，比如选择配置为 16 核 64G 带 1 张 A10 GPU 卡的实例。

  1. 安装操作系统
  • 选择 Windows 公共镜像，支持 Windows2019 及以上版本，本教程我们选择 Windows2022 。

  • 通过 VNC 登录实例，安装 GPU 驱动程序。

通过浏览器进入 NVIDIA官方驱动 下载地址，选择相应驱动下载进行安装，本教程我们选择 538.78， CUDA 版本为 12.2。

安装 Ollama 客户端

  • 安装完毕会自动运行，右下角可以看到这个图标：

  • 打开 windows powershell 或 CMD 命令行终端，输入 ollama 命令，回车，即可显示 ollama 命令的使用帮助

下载模型文件

加载模型
  • 由于 A10 GPU 只有 24G 显存，因此我们安装 8b 模型版本，如果您的显存 80G 以上，那么推荐安装 70b 模型版本。

在命令行中输入如下命令，即可在线拉取模型。

ollama run llama3.1:8b

如果您的显卡非常好，其他两个模型的拉取命令如下 ：

ollama run llama3.1:70b 
ollama run llama3.1:405b

  • 出现success提示时，说明模型加载完成，可以愉快地跟大模型交流了。

更多模型支持

当然 ollama 不仅支持运行 llama3.1，实际上他支持更多的开源模型，详细教程见官方文档： 模型库

手动导入模型

如果您的网络情况不太好，在线下载模型进度缓存，官方也支持从其他渠道下载好的模型导入。

详细参考 导入模型 ，这里不做赘述。

模型应用

直接在控制台中对话

模型加载完成之后，出现如下提示，就可以直接跟大模型对话了。

配置远程访问

Ollama 启动的默认地址为 [http://127.0.0.1:11434](http://localhost:11434) ，我们通过设置环境变量 OLLAMA_HOST来修改默认监听地址和端口，这往往对我们需要远程调用API时非常有用。同时，如果要在open-webui等UI面板中调用 API ，需要为 Ollama 进行跨域配置后方可正常使用。

需要了解如下三个变量的用途

变量名值说明
OLLAMA_HOST0.0.0.0:8888用于配置监听的 IP 和端口
OLLAMA_ORIGINS*支持跨域访问，也可以指定特定域名，如：“baidu.com,hello.com”
OLLAMA_MODELSC:\Users\Administrator\.ollama模型文件较大，建议调整到数据盘目录下。

windows 修改环境变量如下：

  1. 停止 ollama 服务

右下角这个图标，右键选择退出 。

  1. 设置环境变量

右键"此电脑 > 属性 > 高级系统设置 > 环境变量 > Administrator 的用户变量 > 新建用户变量"。

设置环境变量，表示监听在0.0.0.0:8888上，其他变量设置依次添加。

  1. 设置完毕环境变量，打开新的 powershell 或者 CMD 命令行终端， 重新启动 ollama 服务并加载模型。
ollama run llama3.1:8b

API 调用

开启远程连接之后，您就可以远程调用 API 了，示例如下：

curl http://106.12.151.249:8888/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "你好啊"
}'

流式输出：

Web UI

上面的对话测试，我们都是通过命令行来进行交互的，当然肯定有可视化的 UI 界面，而且很多，这里介绍两个。

Open WebUI

Github: https://github.com/open-webui/open-webui

官方文档： https://docs.openwebui.com/

  1. 安装

官方给出了两种安装方式

  • 使用 docker 安装。这个是官方推荐的安装方式，方便快捷，但不幸的是，百度智能云 Windows Server 不支持二次虚拟化，Windows 上需要虚拟 Linux 环境才能安装 Docker。如果您使用的是 Linux 环境，可以通过 Docker 安装，本教程不使用这种。

  • 使用 pip 安装。

有两个注意点：

1） 您的 Python 版本不能为 Python3.12，因为截至本教程编写时，open-webui 还不支持 Python3.12，本教程使用 python3.11 环境，如您 windows 系统中已经有安装 Python3.12，推荐使用 Anaconda 来管理多个 Python 运行环境。

2） 运行依赖 pytorch，如您的环境没有安装，执行如下命令安装依赖：

pip install torch torchvision torchaudio --index-url 
https://download.pytorch.org/whl/cu121

详细安装过程不做赘述，参考 官方安装文档

  1. 使用
  • 打开页面，注册登录，进入设置，将ollama服务器中的模型加载进来。

  • 加载成功后，回到对话界面，可以开始聊天了。

  • 问个问题，响应速度还是不错的。

LobeChat

Github: https://github.com/lobehub/lobe-chat

官方文档： https://lobehub.com/zh/docs/self-hosting/start

  1. 安装

详细安装过程不做赘述，参考 官方安装文档 ，或者您也可以参考我们的另一篇文章：零成本搭建一个多模态大模型对话平台

  1. 使用
  • 在设置里，选择语言模型，找到Ollama，开启它，并做连通性检查 。

  • 检查通过，获取模型列表

  • 回到聊天窗口，选择llama3.1:8b模型

  • 开始愉快的聊天吧。

☞ 如果您在大模型落地过程中遇到任何问题，可以提交工单咨询：https://console.bce.baidu.com/ticket/#/ticket/create?productId=279
☞ 同时，大模型技术专家可为您提供效果调优、应用定制和技术培训等付费专属服务：https://cloud.baidu.com/product/llmservice.html

百度智能云
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
@AI时代开发者，2024百度云智大会课代表上线
09-06 32
锁定2024百度云智大会，等你一起智能跃迁！ ...
博客
千帆思享汇：技术驱动产业变革，共赴智慧教育美好未来
09-06 58
9月6日，百度智能云&好未来技术交流会在北京举行。百度集团副总裁侯震宇及百度智能云主要AI、大数据、大模型技术专家，好未来集团CTO田密及各重要业务线技术专家团出席了本次交流。双方基于教育行业典型场景的智能化落地，就AI及大模型相关数据工程、模型工程、工程化平台化能力等技术的最新进展与实践进行了深度分享与交流。百度侯震宇：“性能优化这件事蕴含在百度的血液里，我们一直在做，并且在与好未来的合...
博客
行业严选！为何超半数央企选择百度智能云？
09-05 15
...
博客
基于AppBuilder自定义组件开发大模型应用
09-04 961
如果大家不了解AppBuilder的话，可以先到这里了解一下：一句话简介： 千帆AppBuilder（以下简称AppBuilder）是基于大模型搭建AI原生应用的工作台，提供RAG、Agent、GBI等应用框架，文档问答、表格问答、对话、创作等应用组件，以及文生图、语音等传统AI组件，目标是帮助开发者降低AI原生应用开发门槛。AppBuilder 提供了很多预定义的组件，能够快速实现部分功能，便于我们结合大模型来实现业务功能。
博客
千帆思享汇：交通大模型与县域城市的一场“时空握手”
09-02 82
百模大战一年多来，大模型、生成式AI以前所未有的速度深入各行各业，交通就是其中之一。2024年8月30日，“助力区域经济高质量发展·交通大模型赋能县域经济新质生产力创新应用研讨会”在河北省河间市召开。研讨会现场河间历史源远流长，是诗经的发祥地和“实事求是”的发源地。近年来，随着城区车辆保有量的快速上升，东西方向的早晚交通流潮汐现象明显，同时中心城区停车供需矛盾突出。而城市的道路资源和停车泊位，因为...
博客
百度智能云带你现场直击“人工智能+”下的多彩数博
08-29 868
8月28日，中国国际大数据产业博览会（简称数博会）在贵阳召开，这是全球首个以大数据为主题的博览会。百度智能云以“智能+，生成无限可能”为主题，携核心产品“领先的基础设施、强大的大模型、全面的开发工具链和交通、政务、教育、工业、矿山等行业丰富的应用场景”亮相展区，展开一幅“人工智能+”的多彩画卷。展览同期，百度智能云携手贵阳市公安交通管理局共同揭晓了“AI信控项目”的优秀成果，并发布基于百度交通大模...
博客
玩游戏的九九八十一难
08-28 100
锁定2024百度云智大会，等你一起智能跃迁！ 点击阅读原文，立即合作咨询...
博客
基于 RAG 实现大模型商品智能检索
08-28 1017
传统商品检索需要依赖人工解析和构建商品的描述字段，将商品信息存入 ElasticSearch 或数据库，然后通过分词查询结合多重条件（类别或其他属性）检索到匹配的商品。但是在传统检索中，因为分词本身的特点，经常会遇到误匹配的问题，例如：我们检索 "苹果耳机"的时候，往往会出现苹果和耳机的相关商品，导致客户体验效果不佳。为了让检索更人性化，我们可以借助 RAG 技术，在传统分词搜索的基础上融入向量检索的能力，从而获得更贴近人类需求的检索效果。
博客
锁定2024百度云智大会，等你一起智能跃迁！
08-27 190
2024百度云智大会高能亮点加载中…… ...
博客
连续五年！百度智能云蝉联中国AI公有云市场第一
08-26 375
近日，IDC发布《中国人工智能公有云服务市场份额，2023》报告。报告显示，2023年中国AI公有云服务市场整体规模达126.1亿元人民币，百度智能云市场份额排名第一，占比达26.4%，连续5年蝉联中国市场第一。自2019年IDC发布AI公有云市场份额报告以来，百度智能云已连续五年、第九次获得中国AI公有云市场第一。从细分市场来看，2023年，在市场规模最大（计算机视觉公有云服务）、增速最快的领域...
博客
首家！百度智能云客悦通过信通院“基于大模型的智能客服”评测
08-22 355
日前，中国信通院公布了首批“基于大模型的智能客服”评估结果，百度智能云客悦智能客服产品首家通过该项评估，并获当前最高评级。智能客服作为AI应用落地最主要的场景之一，在金融、政务、运营商等行业发挥着重要作用，助力政企机构降本增效。近年来，随着大模型技术的持续发展，其深度应用为智能客服系统带来了革命性的升级。基于大模型的理解、生成、逻辑和推理等能力，智能客服可以为用户提供更为精准、高效的服务体验，进一...
博客
Mermaid绘图大师：大模型让图表创作变得触手可及
08-21 567
在快节奏的工作环境中，Mermaid绘图大师是您的得力助手。它是一款基于AppBuilder Agent应用框架开发的智能工具，专为将自然语言转换为Mermaid支持的精美可视化图表而设计。无论您需要思维导图、时序图、流程图还是甘特图，Mermaid绘图大师都能助您一臂之力，释放您的创造力，提升工作效率。
博客
重磅发布！文心大模型最新旗舰版ERNIE 4.0 Turbo现可支持精调！
08-21 239
百度智能云千帆平台现已支持对旗舰大模型ERNIE 4.0 Turbo进行精调，即日起企业客户可登录百度智能云官网申请服务：模型精调让企业可以根据自身的业务需求和业务数据，训练出更适合企业的大模型，极大地提升模型在业务中的使用效果。百度智能云千帆平台在此前已支持ERNIE 3.5、ERNIE Speed、ERNIE Lite、ERNIE Tiny、ERNIE Character进行模型精调，截止当前...
博客
第一！百度智能云领跑中国大模型平台市场
08-21 374
近日，全球领先的IT市场研究和咨询公司IDC发布《中国大模型平台市场份额，2023：大模型元年一初局》报告，2023年中国大模型平台市场规模达17.65亿元人民币，百度智能云以19.9%的市场份额获中国大模型平台市场第一。IDC报告指出，2023年是大模型的元年，此时大模型商业化刚刚起步，行业对大模型多为早期投入。百度作为中国市场率先投入大模型研发的企业，赢得了包括央国企在内的众多早期客户。文心大...
博客
邮储银行x百度智能云，智能AI为您定制专属卡面
08-20 93
2024百度云智大会高能亮点加载中…… 点击阅读原文，立即合作咨询...
博客
2024百度云智大会高能亮点加载中……
08-19 92
点击阅读原文，立即报名
博客
今天主打一个绿色！
08-15 93
看图，打一句话????（答案请见文末~~）????????????⛰️=????⛰️????⛰️今天是第二个全国生态日（8月15日），作为一家坚持ESG治理，践行可持续发展理念的公司，当然少不了在“绿色”领域的实践。目前我国重要生态系统修复治理面积超过一亿亩，生态修复方式也多种多样，中国环境监测总站正在联合百度打造国内首个“生态环境领域行业大模型”，未来将生成一位生态环境领域的智能专家。这位专家可以快速解答相关问题，为现场的生态修复...
博客
找找找找找找找找找找……答案！
08-13 93
博客
基于AppBuilder打造经典武侠冒险游戏
08-13 684
角色指令是搭建一款应用的核心要素，它用来告诉大模型扮演什么样的角色，需要完成什么样的任务，任务结果以什么样的格式输出，也就是业内所说的提示词工程（prompt engineering），想要应用达到理想的效果，那么肯定需要我们不断地调试优化prompt，通过不断地磨合，让大模型充分理解我们的需求，并按照期望的格式要求输出结果。在这部分内容中，我们要告诉大模型如何按照设计的流程来进行游戏，例如我们希望每个玩家在游戏开始有一个随机的初始属性，然后在每个剧情的结尾，都要让大模型再次提供4个选项以供玩家选择，
博客
百度智能云两项入选！北京市首批智慧城市场景创新成果发布
08-12 402
近日，2024北京市智慧城市场景创新需求清单（第一批）暨成果发布会在京举办，会上集中展示了去年11项国内首创场景成果，发布了2024年38项智慧城市场景创新需求。百度智能云两项成果入选11项国内首创场景成果，被授予“北京市智慧城市创新成果合作伙伴（第一批）”。北京市智慧城市场景创新成果合作伙伴（第一批）北京市于2023年启动智慧城市场景创新开放工作以来，按照“综合清单+专项清单”模式，从小切口、一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值