测试一下 Meta Llama3-70b-Instruct-q8

最新推荐文章于 2025-04-07 05:41:54 发布
最新推荐文章于 2025-04-07 05:41:54 发布
阅读量2.5k 收藏 8
点赞数 6
分类专栏： LINUX 文章标签： 人工智能 Llama3-70b Meta 测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/engchina/article/details/137947799
版权

测试一下 Meta Llama3-70b-Instruct-q8

0. 引言

今天，Meta 正式介绍Meta Llama 3，Meta 开源大型语言模型的下一代产品。
这次发布包括具有80亿（8B）和700亿（70B）参数的预训练和经过指令细化训练的语言模型，可以支持广泛的应用场景。

Meta 发布 Llama 3的性能看起来也不错，那今天就简单测试一下Llama3-70b-Instruct-q8（注：运行单精度Llama3-70b-Instruct对硬件要求太高，所以基于8bit量化的模型进行测试，实际效果肯定比单精度的效果差一些，所以测试结果仅供参考）

在这里插入图片描述

1. 测试 Meta Llama3-70b-Instruct-q8

题目是我之前写的 让 OpenAI GPT4 出 10 道题测试其他开源大语言模型。

无图无真相，直接上截图，这样大家也可以自行判断一下效果。

  1. 一个矩形的长是10厘米，宽是5厘米，求它的面积。
    在这里插入图片描述

  2. 中国的四大发明是什么？
    在这里插入图片描述

  3. 世界上最高的山是什么？
    在这里插入图片描述

  4. 牛顿第二运动定律是什么？
    在这里插入图片描述

  5. 水的化学式是什么？
    在这里插入图片描述

  6. DNA的全称是什么？
    在这里插入图片描述

  7. 《红楼梦》的作者是谁？
    在这里插入图片描述

  8. 太阳系中最大的行星是哪一个？
    在这里插入图片描述

  9. 乒乓球起源于哪个国家？
    在这里插入图片描述

  10. 世界上第一台电脑是什么？
    在这里插入图片描述

完结！

开源模型应用落地-Meta-Llama-3.1-8B-Instruct与vllm-单机多卡-RTX 4090双卡（十四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-09 3万+
4090单机双卡部署vllm，并集成meta-llama-3.1-8b-instruct
Llama 越狱探索 Llama-3.1-8B-Instruct去除限制过程
代码简单说 Vue、JAVA、PHP、Node.js 熟练运用，接口、架构、性能全搞定。
10-26 1570
解除 Llama 模型的限制虽然能够提升生成自由度，但也可能会带来一些潜在的风险。因此在实际应用中，应对去除限制的模型进行严格监管与监控，避免因模型内容生成不当而引发意外后果。此外，也要确保遵守使用政策和道德准则，以保证模型的合理使用。总结而言，去除 Llama-3.1-8B-Instruct 的限制涉及对模型配置、参数及自我审查逻辑的调整。通过细致调整这些参数，既可以实现去除限制的目标，又可以保持模型在不同时态和内容下的响应性。
本地部署 Llama3 – 8B/70B 大模型！
2401_84494441的博客
07-09 5981
本地部署大模型可带来飞一般的体验，可降低延迟可微调属于私人的大模型数据安全得以保证。
具有惊人 480B 参数的开源企业级大型语言模型
2401_84587944的博客
05-04 1082
Snowflake AI Research 推出了 Arctic，这是一款专为企业 AI 应用程序设计的尖端开源大型语言模型 （LLM），为成本效益和可访问性设定了新标准。该模型利用独特的 Dense-MoE 混合转换器架构来有效地处理 SQL 生成、编码和遵循指令。凭借其在较低计算预算下运行的能力，Arctic 为希望集成高级 AI 的企业提供了高性能解决方案，而无需通常涉及大量成本。
目前来看，ollama量化过的DeepSeek模型应该就是最具性价比的选择
m0_59235245的博客
03-21 1565
大模型中的每一个参数就是一个数字，默认的存储精度一般是BF16或者是FP16，学过编程的都知道，FP16就是16位半精度浮点数，数据长度有16bit，也就是2字节。按照这个容量计算，7B（70亿）的模型文件大小应该是14 GB左右，实际上也差不多，有15,237,852,832字节，合14.1 GB，而把这个模型运行起来，大概也是就是占用这么大的显存，实际上也差不多，要占用14623 MB，合14.28 GB。
LLaMA3-70B： Meta AI 的最新自然语言处理模型
专注于人工智能领域的小何尚
04-20 4544
LLaMA-70B 是一个大规模语言模型，由 Meta AI 的研究团队使用大量文本数据训练而成。该模型基于 transformer 结构，具有70亿个参数，是目前最大的语言模型之一。LLaMA-70B 能够处理长文本输入，生成高质量的文本输出，并且能够回答问题、生成文章、对话等多种任务。LLaMA-70B 的名称来自于“Large Language Model Application”，它是一个通用的语言模型，可以应用于多种自然语言处理任务。
运行最强开源LLM大模型：Llama3 70B，只需一个4GB GPU！
xiangxueerfei的博客
05-29 5624
如何使用单4G GPU 运行 LLAMA3 70B为什么接下来半年自己训练大模型创业公司会死一大批数据对大模型的重要性最强大的开源LLM模型Llama3已经发布，有人问：AirLLM是否支持在本地用4GB的VRAM运行Llama3 70B？答案是肯定的。此外，Llama3的性能如何与GPT-4相比？Llama3变得如此强大的关键前沿技术是什么？Llama3的突破是否意味着开源模型正式开始超越闭源模型？今天我们也会给出解释。
开源大模型新王者Llama 3.3 70B，用Ollama跑起来
csdn1561168266的博客
12-10 2207
大家好，Meta公司新近推出的Llama 3.3 70B模型，为大型语言模型带来了新突破。这款模型不仅支持多语言，性能强劲，而且具备成本效益，有望彻底改变企业和科研人员利用AI的方式。本文带大家深入解析Llama 3.3 70B。
针对Meta发布的Llama 3.3-70B模型之体验|对比|亮点|架构
DREAM_xs的博客
12-22 1288
Meta发布的Llama 3.3-70B模型代表了当前AI技术发展的最新趋势，即不再单纯追求参数量的增长，而是更加注重效能与资源使用的最优化。这一模型不仅为研究人员和开发者提供了一个强大的工具，也为各行各业带来了新的应用契机。随着技术的不断完善和深入探索，我们有理由期待，像Llama 3.3这样的先进模型将继续推动社会变革，创造更多的价值和便利。同时，也提醒我们在享受技术带来的便捷时，要关注并解决随之而来的潜在风险和社会问题。
本地部署 Meta Llama3-8b 和 Llama3-70b_llama3 本地部署
python122_的博客
06-30 707
在接下来的月份里，Meta 期望推出新的功能、更长的上下文窗口、额外的模型尺寸以及提升的性能，并且Meta 将分享Llama 3的研究论文。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。到此为止，大概2个月的时间。
本地部署 Meta Llama3-8b 和 Llama3-70b
热门推荐
engchina的专栏
04-19 1万+
本地部署 Meta Llama3-8b 和 Llama3-70b
Llama 4 本地部署实战指南：Scout 模型全流程配置 × 性能测试 × 多端集成
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-07 3096
想在本地跑起 Meta 最新的 Llama 4 模型？这篇文章带你从环境准备、模型下载、量化选择，到 CLI/WebUI/API 三种方式实战跑通 Scout 模型，还包含 Jetson、Android、内网部署等多端接入技巧，附推理速度、显存占用等真实评测，助你快速打造属于自己的私有化 AI 助手。
Meta开源Llama3.3-70B：大模型后训练佳作，400万美元训练成本，性能接近4050亿参数的Llama3.1-405B
Python_cocola的博客
12-18 2544
Llama3.3-70B-Instruct是目前Llama3.3系列中唯一开源的模型，且没有基座大模型，仅开源了指令优化版本的模型。根据官方的介绍，Llama3.3-70B-Instruct是经过预训练以及指令微调的模型，参数规模700亿，是一个纯文本的大语言模型，这意味着它不支持多模态的输入和输出，仅支持文本的输入和输出。
Meta 推出更高效的新型 Llama 3.3 70B 模型
weixin_41446370的博客
12-07 1093
在 X 上的帖子中，Meta 的生成式人工智能副总裁 Ahmad Al-Dahle 表示，纯文本 Llama 3.3 70B 以更低的成本提供了 等效于 Meta 最大 Llama 模型 Llama 3.1 405B 的性能。例如，根据 Meta 的数据，Llama 的下载量已超过 6.5 亿次。扎克伯格在今年 8 月的 Meta 第四季度财报电话会议上表示，为了训练下一套主要的 Llama 模型（Llama 4），公司需要的计算能力将是训练 Llama 3 所需的计算能力的 10 倍。
【全网首发】Meta刚发布的Llama3测试体验
weixin_41446370的博客
04-19 928
就在今天凌晨，万众期待的 Llama 3 就发布了。我一大早赶集似的就去申请Llama 3，申请也比较简单，问你姓名，地区和联系方式就这些，等了一会儿就通过了。而此次 Llama 3 只有8B70B和。据说还有其他的版本需要等到之后的时间安排才能发布。反正对我而言勉强都能跑，也大差不差。
小学生也能听得懂的大模型 - Transformer 1
2401_85325557的博客
07-29 1263
参考 [小学生也能听得懂的大模型 Transformer 1]
本地部署Llama3-8B/70B 并进行逻辑推理测试
寒冰屋的专栏
04-25 1265
美国当地时间4月18日，Meta开源了Llama3大模型，目前开源版本为8B和70B。Llama 3模型相比Llama 2具有重大飞跃，并在8B和70B参数尺度上建立了LLM模型的新技术。由于预训练和后训练的改进，Llama3模型是目前在8B和70B参数尺度上存在的最好的模型。训练后程序的改进大大降低了错误拒绝率，改善了一致性，增加了模型响应的多样性。我们还看到了推理、代码生成和指令跟踪等功能的极大改进，使Llama 3更具可操控性。
云平台一键部署【Llama3.3-70B-Instruct】
m0_49711991的博客
12-26 1107
前几天 Meta 宣布推出一款新的 Llama 系列生成式 AI 模型：70亿参数的 Llama 3.3、又称 Llama 3.3 70B。CEO 扎克伯格在旗下社交媒体 Instagram 称，这是今年最后一次 AI 大模型更新，下一步就是明年 Llama 4 亮相。
在个人电脑上运行Llama 3 70B大规模模型指南
ytt0523_com的博客
06-15 7500
随着人工智能和机器学习技术的迅猛发展，像Llama 3 70B这样的庞大语言模型已经成为了研究、开发和应用中的重要工具。这篇文章将详细介绍如何在个人电脑上运行Llama 3 70B大模型，并涵盖硬件要求、软件环境配置、安装步骤、运行示例和常见问题的解决方案。虽然运行这样一个大规模的模型在性能上有限制，但对于实验和学习非常有帮助。
使用 vLLM 框架部署 LLaMA-3-70B-Instruct
03-11
### 部署 LLaMA-3-70B-Instruct 模型使用 vLLM 框架 为了成功部署 LLaMA-3-70B-Instruct 模型，需遵循特定配置和环境设置。vLLM 是一种高效的推理引擎，专为大型语言模型设计。 #### 安装依赖库 首先安装必要的 Python 库，确保环境中具备运行 vLLM 所需的支持工具： ```bash pip install --upgrade pip setuptools wheel pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118 pip install vllm ``` #### 下载模型权重文件 由于 LLaMA-3-70B-Instruct 属于较新的大尺寸模型版本，在获取其参数时可能需要特别权限[^2]。一旦获得授权，则可以通过 Hugging Face 或其他指定渠道下载对应的模型权重。 #### 加载并启动服务端口 创建一个简单的脚本来加载模型，并通过 HTTP API 提供预测功能： ```python from vllm import LLM, SamplingParams # 初始化 LLaMA-3-70B-Instruct 实例 model_path = "/path/to/model/directory" llm = LLM(model=model_path) # 设置采样参数 sampling_params = SamplingParams(temperature=0.8, top_p=0.95) # 启动 RESTful 接口监听外部请求 app.run(host='0.0.0.0', port=8080) ``` 上述代码片段展示了如何利用 `vllm` 来初始化 LLaMA-3-70B-Instruct 并设定基本的生成控制选项[^1]。 #### 测试接口响应速度 完成以上步骤之后，可以编写客户端测试程序验证服务器是否正常工作以及性能表现情况: ```python import requests url = 'http://localhost:8080/generate' data = {"prompt": "Once upon a time", "max_tokens": 50} response = requests.post(url, json=data).json() print(response['text']) ``` 此部分演示了向已部署的服务发送 POST 请求的方式，从而实现文本补全等功能[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值