使用 Ollama框架 下载和使用 Llama3 AI大模型的完整指南

已于 2024-05-29 21:17:34 修改
阅读量4.1k 收藏 195
点赞数 203
分类专栏： 常见AI大模型部署与应用 文章标签： llama ai 开源 语言模型 人工智能
于 2024-05-27 09:52:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jxjdhdnd/article/details/139184347
版权

🏡作者主页：点击！ 

🤖AI大模型部署与应用专栏：点击！​​​​​​​

⏰️创作时间：2024年5月24日20点59分

🀄️文章质量：96分

目录

💥Ollama介绍

主要特点

主要优点

应用场景

示例模型

📶Llama3 介绍

功能展示

Llama3 的应用

Llama3 的未来

🤖部署教程

1.下载Ollama

2.下载llama3的大模型

 💯趣站推荐💯

💥Ollama介绍

Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。它提供了一套简单的工具和命令，使任何人都可以轻松地启动和使用各种流行的LLM，例如GPT-3、Megatron-Turing NLG和WuDao 2.0。

主要特点

简化部署: Ollama 使用 Docker 容器技术来简化大型语言模型的部署和管理。用户只需简单的命令即可启动和停止模型，而无需担心底层的复杂性。

丰富的模型库: Ollama 提供了丰富的预训练模型库，涵盖了各种自然语言处理任务，如文本生成、翻译、问答等。用户可以轻松地选择和使用所需的模型。

跨平台支持: Ollama 支持多种操作系统，包括 Windows、macOS 和 Linux，使其能够满足不同用户的需求。

灵活的自定义: Ollama 提供了灵活的自定义选项，允许用户根据自己的需求调整模型的行为。

主要优点

离线使用: Ollama 可以让用户在离线环境下使用LLM，这对于隐私敏感或网络连接不稳定的情况非常有用。

降低成本: Ollama 可以帮助用户降低使用LLM的成本，因为它避免了云服务的高昂费用。

提高安全性: Ollama 可以提高LLM使用的安全性，因为它允许用户完全控制自己的数据和模型。

应用场景

研究和教育: Ollama 可以用于自然语言处理、机器翻译、人工智能等领域的教学和研究。

开发和测试: Ollama 可以用于开发和测试新的自然语言处理应用程序。

个人使用: Ollama 可以用于个人创作、娱乐等目的

示例模型

以下只是部分模型：

模型参数大小下载
Llama 38B4.7GBollama run llama3
Llama 370B40GBollama run llama3:70b
Phi 3 Mini3.8B2.3GBollama run phi3
Phi 3 Medium14B7.9GBollama run phi3:medium
Gemma2B1.4GBollama run gemma:2b
Gemma7B4.8GBollama run gemma:7b
Mistral7B4.1GBollama run mistral
Moondream 21.4B829MBollama run moondream
Neural Chat7B4.1GBollama run neural-chat
Starling7B4.1GBollama run starling-lm
Code Llama7B3.8GBollama run codellama
Llama 2 Uncensored7B3.8GBollama run llama2-uncensored
LLaVA7B4.5GBollama run llava
Solar10.7B6.1GBollama run solar

📶Llama3 介绍

Llama3 是由 Meta AI 开发的最新一代开源大型语言模型 (LLM)。它基于 137B 参数的 Transformer 架构，在大量文本和代码数据集上进行训练。与前代模型相比，Llama3 在许多自然语言处理任务上表现出更强的性能。

功能展示

文本生成: Llama3 可以生成更具创意和信息量的文本，包括诗歌、代码、脚本、音乐作品、电子邮件、信件等。

翻译: Llama3 可以更准确地翻译语言，并支持更多语言之间的互译。

问答: Llama3 可以更准确地回答问题，即使是开放式、有挑战性或奇怪的问题。

代码生成: Llama3 可以生成更复杂的代码，并可以根据需求生成不同编程语言的代码。

Llama3 的应用

用于各种领域，包括：

自然语言处理: Llama3 可以用于各种自然语言处理任务，如文本生成、翻译、问答、文本摘要、情感分析等。

机器学习: Llama3 可以作为其他机器学习模型的特征提取器或预训练模型。

教育: Llama3 可以用于个性化学习、自动批改作业、创建教育内容等。

娱乐: Llama3 可以用于生成游戏内容、创作故事、编写音乐等。

商业: Llama3 可以用于客户服务、市场营销、产品开发等。

Lama3 的发布标志着 LLM 技术的重大进展。它使研究人员和开发人员能够更轻松地构建和使用强大的语言模型，并有望推动自然语言处理领域取得新的突破。

Llama3 的未来

Llama3 是一个不断发展的项目。Meta AI 将继续改进模型的性能和功能，并将其应用于新的领域。

🤖部署教程

1.下载Ollama

官网地址：点击跳转！

下一步默认下载即可

2.下载llama3的大模型

选择对应的版本下载即可(根据自己的电脑硬件需求) ，我这边下载一个8b的模型用于测试！

管理员模式打开CMD命令行输入在官网复制的模型命令

第一次登录需要下载，请耐心等待

进入字符界面之后提问问题(如果回答的是英文，你可以让他使用中文去回答)

我简单的提问几个问题给大家实验

>>> 用中文介绍一下自己
😊 我是 LLaMA，Meta AI 研究院开发的一款人工智能助手。我可以理解和回应人类语言，就像进行正常对话一样。

以下是一些关于我的有趣事实：

1. **对话式 AI**：我被设计成可以模拟人际对话，使用自然语言处理（NLP）和机器学习算法来理解上下文并回应。
2. **知识库**：我的训练数据包括了来自各种来源的海量文字，这使得我能够提供关于多种主题的信息，包括历史、科学、技术、文化 等。
3. **多语言支持**：我可以理解和回应多种语言，虽然我的语言能力可能因语言而异。
4. **创造生成**：除了提供事实信息，我还能生成Creative内容，如故事、诗歌或剧本对白。
5. **不断学习**：随着我与更多用户的交互和反馈，我不断学习并改进自己的回答，以更好地为您服务。

一些我擅长的话题包括：

* 科学：物理、生物、化学、天文学
* 技术：编程语言、软件开发、人工智能、机器学习
* 历史：世界历史、文化事件、名人
* 文化：音乐、电影、文学、艺术
* 健康与 wellness：医学、营养、健身

如果您有任何问题，请随时提出，我将尽力提供有帮助的回答！ 😊

>>> 介绍一下java
😊 Java 是一种广泛使用的编程语言，首次出现于1995年。它由 James Gosling 和 Sun Microsystems 开发，现由 Oracle Corporation 维护。

以下是一些关于 Java 的有趣事实：

1. **面向对象**：Java 是一种面向对象的编程语言，它支持封装、继承和多态等基本概念。
2. **平台独立**：Java 语言具有平台独立性，可以在任何支持 Java 虚拟机（JVM）的设备上运行，不管是 Windows、Macintosh 或 Linux。
3. **跨平台开发**：Java 的“Write Once, Run Anywhere”（写一遍，跑处处）特点，使得开发者可以使用 Java 开发的应用程序在多种平台上运行，这提高了应用程序的可移植性和广泛性。
4. **安全**：Java 语言具有强大的安全机制，可以防止代码注入、数据泄露等安全问题。
5. **庞大社区**：Java拥有一个庞大的开发者社区，提供了大量的开源库和工具支持。

一些 Java 的常见应用场景包括：

* Web 开发：使用 Spring、Struts 等框架开发 web 应用程序
* Android 开发：使用 Android SDK 和 Java 开发移动应用程序
* Desktop 应用程序开发：使用 Swing 和 AWT 开发桌面应用程序
* Enterprise  software development：使用 Hibernate、iBatis 等框架开发企业级软件

Java 的一些常见特性包括：

* Class 文件：Java 程序编译后的文件格式
* JVM（Java Virtual Machine）：负责执行 Java 代码的虚拟机
* bytecode：Java 代码在 JVM 中执行前的中间语言形式
* Garbage Collection（GC）：自动内存管理机制，避免内存泄露和垃圾收集

如果您想了解更多关于 Java 的信息，请随时提出问题，我将尽力提供有帮助的回答！ 😊

可以看出回答问题的时候占用的是你本地的CPU内存资源，当他结束后CPU瞬间得到释放

当然你的性能越好，他回答的速度也就很快

提示

如果想进入需要输入你对应模型的命令:ollama run llama3:8b 

缺点就是在命令行访问十分的不方便

下期文章:将大模型部署Web，具有十分友好的UI界面，看起来十分美观，访问便捷，功能丰富

 💯趣站💯

​

前些天发现了一个巨牛的🤖人工智能学习网站，通俗易懂，风趣幽默，忍不住粉香一下给大家,人工智能, 机器算法等......  

点击跳转网站！icon-default.png?t=N7T8https://www.captainbed.cn/sis/

神秘泣男子
关注
  • 203
    点赞
  • 踩
  • 195
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 163
    评论
专栏目录
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
llama3-中文微调训练集，让llama3更懂中文
04-22
Llama-3是由Meta（Facebook）AI发布的最新一代大型语言模型。它具有两种参数规模：80亿（8B）和700亿（70B），并且还有一个超过4000亿参数的版本正在训练中。Llama-3在多个行业标准测试中展现了卓越的性能，特别是在对话类应用中，其表现超过了许多现有的开源聊天模型。 在技术方面，Llama-3采用了优化的自回归Transformer架构，这种架构专为处理复杂的文本生成任务设计，能够有效提升生成文本的连贯性和相关性。它还结合了监督式微调（SFT）和带人类反馈的强化学习（RLHF），这种混合方法不仅增强了模型的帮助性，也提高了安全性，使得模型在实际应用中更加可靠和符合用户预期。 Llama-3使用了超过15万亿令牌的公开在线数据进行预训练，这些数据是前代Llama-2的七倍。此外，Llama-3支持8K长文本，具有128K token的词汇量，这有助于实现更好的性能。其主要亮点还包括增强的推理和代码能力，以及训练效率比Llama-2高3倍。 Meta表示，Llama-3在多个关键的基准测试中性能优于业界先进同类模型，能够进行复杂的推理，更遵循指令，并能够可视化想法
Llama3模型+Windows本地运行软件（下载地址）
05-20
​ Meta放出Llama3模型了，也应该是这段时间里的一个科技大新闻了。 Llama一直都是开源大语言模型的领头羊驼。 而Llama3又是所有羊驼中最新的领头羊。 可以简单地来看一下官方的对比数据。 下面是Llama3和谷歌Gemma以及法国的Mistral开源版的对比，以及Llama3 70B和gemini和Claude3闭源版的对比。 关于Llama3具体有多牛X，这样的内容我就不写了。网上新闻一大堆！ 我就说说怎么在我们自己的电脑上玩起来。 这才是我们该关心的核心问题。 Llama3的衍生模型非常多，整个生态也发展的特别好，所以支持的工具也特别多。根本无需自己去配置，写代码，加载模型和做模型交互。有一大堆现成的“基础设施”可以用！ 今天还是用可视化的GUI软件来运行Llama3，是个人都会的那种软件。 这里说的软件就是，这是一款基于llama.cpp，可以运行几乎所有主流大语言模型的应用程序。 由于软件主要是使用CPU来运行，所以基本上所有电脑都可以使用！！！ 如果关注我比较久，应该已经看到过相关的文章。已经有软件的
首批 Llama3 70B 中文大模型，在C-Eval和CMMLU的表现超过了ChatGPT，与GPT-4持平
05-14
首批 Llama3 70B 中文大模型，在C-Eval和CMMLU的表现超过了ChatGPT，与GPT-4持平。
AI模型：windows本地运行下载安装ollama运行llama3、llama2、Google CodeGemma、gemma等可离线运行数据模型【自留记录】
刻痕
05-07 858
## AI模型：windows本地运行下载安装ollama运行llama3、llama2、Google CodeGemma、gemma等可离线运行数据模型【自留记录】 CodeGemma 没法直接运行，需要中间软件。下载安装ollama后，使用ollama运行CodeGemma等AI模型。 类似 前端本地需要安装 node.js 才可能跑vue、react项目 ## 1、下载 ollama： ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/65f3c9d
【完整指南】如何在Visual Studio Code中轻松运行Llama 3模型？
2301_78285120的博客
04-28 1410
Meta 发布了最新的开源语言模型Llama 3。因为它是开源的，你可以下载这个模型，并在自己的电脑上运行。我清楚，你可能会想，在个人笔记本上运行一个拥有80亿参数的AI模型似乎只有技术高手才能做到。但别担心！这篇文章会提供一个简单的步骤指导，帮助每个人都能轻松上手。
【新书】大模型与生成式人工智能医学应用，58页pdf
2301_76168381的博客
04-07 261
这本实用书籍向医疗保健领导者、研究人员、数据科学家和AI工程师展示了LLMs和生成式AI今天以及将来的潜力，使用故事讲述和医疗保健中的示例用例。谷歌医疗保健和生命科学行业团队的Kerrie Holley和Manish Mathur帮助您探索这些技术在医疗保健中的实际应用，从个性化患者护理和药物发现到增强的医学成像和机器人辅助手术。大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约。理解LLMs和生成式AI在医疗保健中的潜在用途，以及它们在近期及未来的前景。
Linux内网离线安装Ollama
杉叔的专栏
04-10 4917
在线安装地址https://ollama.com/download选择服务器系统，按照步骤完成安装。下载地址 https://github.com/ollama/ollama/releases/总共需要修改两个点，第一：Ollama下载地址；第二：Ollama安装包存放目录。我下载的是Ollama的v0.1.31版本，后面均以此版本为例说明。修改后的install.sh文件，v0.1.31版本。第二处修改，修改ollama安装目录。第一处修改，注释下载链接。
超简单，手把手教你在本地运行Llama 3大模型
xiangxueerfei的博客
05-29 808
Ollama是一款开源工具，专为在本地计算机上运行像Llama 3这样的大型语言模型而设计。随着AI技术的进步，现代的大型语言模型已经摆脱了对庞大虚拟内存、计算资源和存储空间的依赖，转而优化以适应笔记本电脑等更轻便的设备。在众多支持本地部署大型语言模型的工具和框架中，Ollama的设置流程和使用最为简单。用户可以直接通过终端或Powershell快速启用LLMs，无需复杂配置即可立即投入应用。Ollama的最大优势在于其强大的兼容性和集成能力。
windows ollama 指定模型下载路径
数字人生
05-28 2134
打开任务管理器，转到“进程”标签（或Windows 10及更高版本的“详细信息”标签），找到与"Ollama"相关的进程，右键点击并选择“结束任务”。如果使用的是某些特定的IDE或代码编辑器，它们可能有自己的方式来设置环境变量。在Windows系统中，如果想为Ollama指定模型的下载路径，可以通过设置环境变量来实现。在设置环境变量时，确保路径是正确的，并且有足够的权限来访问和写入该目录。在“系统变量”或“用户变量”部分，点击“新建”来创建一个新的环境变量。右键点击“此电脑”或“计算机”，选择“属性”。
中文LLaMA&Alpaca大模型
08-24
本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持FlashAttention-2训练，支持4K上下文并可通过NTK方法最高扩展至18K+。
大模型相关介绍，包括大模型概述，llama3结构，微调策略等
最新发布
06-17
大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3...
Llama2-7B/13B chat模型（下载地址）.txt
08-14
•Llama2-7B官网版本 •Llama2-7B-Chat官网版本 •Llama2-13B官网版本 •Llama2-13B-Chat官网版本 •Llama2-7B Huggingface版本 •Llama2-7B-Chat Huggingface版本
LLama3 中文大模型进行指令微调的中文聊天语言模型
06-06
Llama3-8B-Chinese-Chat 是一款基于 Meta-Llama-3-8B-Instruct 模型进行指令微调的中文聊天语言模型。该模型针对中文和英文用户进行了专门的优化，具有角色...该模型还提供了 Ollama 模型和 GGUF 版本，方便用户使用。
中文 Llama-3 开源大模型项目正式发布
2301_78285120的博客
05-02 905
2024年4月19日，Meta发布了最新一代开源大模型Llama-3，其中包括两个模型大小：8B、70B，并在未来会进一步开放400B+模型。每个模型均包括基座模型Llama-3以及经过对齐的对话模型Llama-3-Instruct。这些模型相比Llama-2在多个评测集上获得了显著的性能提升。词表大小：从32K提升至128K，并且使用了BPE词表‍训练数据量：由2T tokens大幅度提升至15T tokens上下文长度：由4096提升至8192‍‍‍‍全尺寸均使用了GQA。
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-20 2万+
​ LLMs之Llama 3：Llama 3的简介、安装和使用方法、案例应用之详细攻略 目录 Llama 3的简介 Llama 3的安装和使用方法 Llama 3的案例应用 Llama 3的简介 2024年4月18日，Meta 重磅推出了Meta Llama 3，Llama 3是Meta最先进开源大型语言模型的下一代，包括具有80亿和700亿参数的预训练和指令微调的语言模型，能够支持广泛的应用场景。这一代Llama在一系列行业标准基准测试中展示了最
使用Ollama和Open WebUI管理本地开源大模型的完整指南
博客之路,前途漫漫
05-29 4262
Open WebUI 是一种基于 Web 的用户界面，用于管理和操作各种本地和云端的人工智能模型。它提供了一个直观的图形化界面，使用户可以方便地加载、配置、运行和监控各种 AI 模型，而无需编写代码或使用命令行界面。测试以下编程能力用shell脚本编写一个ping通网段所有主机 要求如果可以访问返回YES，否则就NOping/bin/bashdothenbreakfidone让我解释一下脚本的工作原理：我们使用（一种计算 IP 地址范围的工具）设置要 ping 的网络范围和主机数量。
手撸私有AI大模型——ollama本地部署私有大模型
vscene的博客
05-17 1076
不用docker在windows环境下安装ollama实现本地部署私有大模型，普通人也可以在本机上运行一个chatgpt
llama2模型下载
01-17
llama2是一种用于计算机模拟和仿真的模型，可用于研究和分析各种情景和可能性。要下载llama2模型，首先需要确保你有一个可靠的互联网连接。然后，可以在llama2的官方网站或其他可靠的网站上找到模型的下载链接。在下载前，要确保你了解模型的用途和使用条件，并且明白你是否需要支付相关费用。 在找到可信的下载链接后，点击下载并等待模型文件完全下载到你的设备上。下载时间取决于文件的大小和你的互联网速度。下载完成后，要确保对文件进行病毒扫描，以确保文件的安全性。 完成病毒扫描后，可以解压下载的文件，并按照模型提供的说明或指南进行安装和使用。有些模型可能需要特定的软件或系统环境才能运行，所以在安装前要先了解清楚所需的条件。 一旦安装完成，就可以开始使用llama2模型进行研究和分析。可以根据模型的指南和教程，逐步学习如何操作和利用模型进行计算和仿真。通过使用llama2模型，可以更好地理解和探索各种情景和可能性，为相关领域的研究和实践提供有益的支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 163
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

神秘泣男子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值