Llama 3.1 AI language model

本地安装llama AI模型

官网:https://ollama.com

下载对应版本,这里是MAC:

ollama run llama3.1

退出Ollama终端:

/bye

启动:

ollama run llama3.1

发现下面几种语言模型都可以安装:

ollama run gemma2

首字母大写改成小写即可,首次执行命令会自动安装然后运行。

ollama run phi3

ollama run mistral

以下是百度AI的介绍,对Mistral应该不是太了解:

Llama 3.1、Phi 3、Mistral、Gemma 2分别代表了不同领域或公司推出的技术产品或模型,以下是它们的详细介绍:

Llama 3.1

定义与特点

  • Llama 3.1是Meta AI(前身为Facebook AI Research)推出的最新一代大型语言模型。
  • 它具有128K的上下文长度扩展,支持八种语言(包括英语、中文、法语、德语、日语、韩语、俄语和西班牙语),并首次开源了405B参数级别的前沿AI模型。
  • Llama 3.1为开发者和技术研究者提供了强大的支持,无论是处理大量文本数据的编程助手,还是构建多语言对话系统的开发者,都能从中受益。
  • 它支持长文本摘要和多语言对话代理,具有先进的工具使用和推理能力,以及模型蒸馏能力,允许在开源领域实现前所未有的技术扩展。

目标受众

  • 主要面向开发者和技术研究者,特别是那些寻求利用最前沿AI技术来推动自己项目和研究的专业人士。

定价策略

  • Llama 3.1是一款开源免费的语言模型,无需支付任何费用即可使用。

Phi 3

定义与特点

  • Phi 3是Microsoft开发的一系列开放式AI模型,属于小语言模型(SLM)范畴。
  • 它在各种语言、推理、编码和数学基准测试中表现出色,为开发者构建生成式人工智能应用程序提供了更多实用的选择。
  • Phi-3-mini有两种上下文长度变体,包括支持128K个令牌的上下文窗口的模型。

应用场景

  • 适用于需要高效且成本效益高的AI模型的应用场景。

Mistral

定义与说明

  • Mistral在此上下文中可能不是一个特定的技术产品或模型名称。它更可能是一个非技术性的词汇,如人名(如法国诗人Frederic Mistral)、地名或特定领域的术语(如“密史脱拉风”,指法国南部出现于冬季的寒冷强风)。
  • 在当前的技术或AI领域,没有直接证据表明Mistral是一个被广泛认可的技术产品或模型。

Gemma 2

定义与特点

  • Gemma 2是谷歌在2024年推出的一系列轻量级、最先进的开放式模型。
  • 它采用全新架构,提供27B(270亿)参数大小的尺寸,性能可与Llama 3 70B相媲美,但尺寸只有后者的一半。
  • Gemma 2的设计旨在降低部署成本,其高效性使得所需的计算量少于同类模型的一半。
  • 它支持在英伟达的GPU和Vertex AI中的单个TPU主机上高效运行,为开发人员提供了跨越不同平台和工具生态系统的强大调优功能。

综上所述,Llama 3.1、Phi 3和Gemma 2都是各自领域内具有显著特点和优势的技术产品或模型,而Mistral则可能是一个非技术性的词汇或术语。

命令行看着不舒服的话补个UI界面,需安装docker:

终端执行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装完成后页面输入:

http://localhost:3000/

或者docker中直接打开:

没有账号的注册一个即可:

---

ubuntu:

可能需要多执行几次该脚本,我也是大晚上才成功的。

sudo curl -fsSL https://ollama.com/install.sh | sh

ollama run llama3.1

运行时内存至少5.6G。 

我给了8个G的内存,但是生成答案时的速度真的很慢。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值