英特尔宣布针对对Llama 3.1进行优化 以提升所有产品的性能

最新推荐文章于 2025-04-23 13:15:00 发布
最新推荐文章于 2025-04-23 13:15:00 发布
阅读量845 收藏 7
点赞数 5
分类专栏： 人工智能 文章标签： llama gpu算力 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41446370/article/details/140693555
版权

日前Meta正式发布了Llama 3.1开源大模型，以其庞大的参数量和卓越性能，首次在多项基准测试中击败了GPT-4o等业界领先的闭源模型。允许开发者自由地进行微调、蒸馏，甚至在任何地方部署，这种开放性为AI技术的普及和创新提供了无限可能。

在这里插入图片描述
Llama 3.1支持128k的上下文长度和多语言能力，无论是在基本常识、可操作性还是数学、工具使用和多语言翻译方面，都展现出了行业领先的能力。

紧随其后，芯片巨头Intel迅速响应，宣布其AI产品组合已全面适配Llama 3.1，并针对Intel AI硬件进行了软件优化。

在这里插入图片描述
在这里插入图片描述
包括了数据中心、边缘计算以及客户端AI产品，确保用户能够在Intel平台上获得最佳的性能体验。

Intel的适配工作涵盖了PyTorch及Intel PyTorch扩展包、DeepSpeed、Hugging Face Optimum库和vLLM等，确保了从研发到部署的全流程支持。

目前，Intel AI PC及数据中心AI产品组合和解决方案已面向全新Llama 3.1模型实现优化，OPEA（企业AI开放平台）亦在基于Intel至强等产品上全面启用。

根据基准测试，在第五代Intel至强平台上以1K token输入和128 token输出运行80亿参数的Llama 3.1模型，可以达到每秒176 token的吞吐量，同时保持下一个token延迟小于50毫秒。

在配备了酷睿Ultra处理器和锐炫显卡的AI PC上，进行轻量级微调和应用定制比以往更加容易，并且AI工作负载可无缝部署于CPU、GPU以及NPU上，同时实现性能优化。

在这里插入图片描述
基于第五代Intel至强可扩展处理器的Llama 3.1推理延迟

在这里插入图片描述

在配备内置Intel锐炫显卡的Intel酷睿Ultra 7 165H AI PC上，Llama 3.1推理的下一个token延迟

在这里插入图片描述
在使用Intel锐炫A770 16GB限量版显卡的AI PC上，Llama 3.1推理的下一个token延迟

在这里插入图片描述
基于Llama 3.1的端到端RAG流水线，由Intel Gaudi 2加速器和至强处理器提供支持

使用 YOLOv8 对足球运动员进行高级球员细分(教程含源码)
iCloudEnd的博客
12-07 105
本博客探讨了如何使用 YOLOv8 模型进行对象检测，特别是重点介绍如何对足球图像中的球员进行分割。代码工作流程包括加载图像、运行 YOLOv8 进行对象检测、处理结果以及创建蒙版图像。为了便于理解，下面详细介绍了每行代码。
安装Ollama for Intel
u011186532的专栏
02-11 2323
Ollama 是一个强大的工具，用于在本地运行和优化大型语言模型（LLM）。随着Intel Arc显卡的发布，许多开发者希望利用其强大的计算能力来加速Ollama的运行。本文将详细介绍如何在Intel Arc显卡环境中安装和配置Ollama，并介绍Ollama相关的命令。
Ollama本地部署 Win11 intel arc 显卡GPU加速
lishiyu7的博客
12-20 8893
参考资料：https://test-bigdl-llm.readthedocs.io/en/main/doc/LLM/Quickstart/ollama_quickstart.html。安装 dpcpp-cpp-rt, mkl-dpcpp, 和 onednn 这些特定版本的包。搬运来源：https://zhuanlan.zhihu.com/p/694516502。4.创造llm-cpp环境 配置并运行IPEX-LLM for llama.cpp。新开一个anaconda窗口。
英特尔显卡+魔搭社区，一行命令快速部署本地大模型
英特尔开发人员专区
02-27 2256
近期，Intel和魔搭合作，在魔搭社区上线了Ollama 英特尔优化版镜像，该镜像提供基于 IPEX-LLM 的 Ollama 英特尔优化版，开发者可在英特尔GPU (如搭载集成显卡的个人电脑，Arc 独立显卡等) 上直接免安装运行 Ollam
没有显卡? cpu跑llama 3.1 405B教程
lvaolan168的博客
08-03 508
如果是简单试用，可以在huggingface chat上试用https://huggingface.co/chat/models/meta-llama/Meta-Llama-3.1-405B-Instruct-FP8。首先下载gguf权重：https://huggingface.co/nisten/meta-405b-instruct-cpu-optimized-gguf。cpu本地跑，可以试试gguf量化，可以得到1.67 token/s的输出，10 token/s的输入，很慢但是不是不可用~
Deepseek+Ollama+Ipex-llm使用Intel集成显卡提升大模型运行速度
m0_66312004的博客
02-09 5252
想学习deepseek，但是没有GPU显卡，笔记本是i7-12700h+Intel(R) Iris(R) Xe Graphics集成 显卡，看到网上有文章介绍Intel的ipex-llm环境可以调用集显，于是尝试了一下，效果不错，分享给大家。10.使用ollama加载deepseek-r1:1.5b(我做演示运行，实际运行7b、8b、14b、32b，内存和硬盘资源充足，可以试试70b)8.从新打开一个Anaconda Prompt终端窗口，并激活第第2布创建的conda环境，并进入第4步创建的文件目录。
没钱买GPU！本地还想跑大模型的终极工具Ollama！
youmaob的博客
11-22 9785
Ollama 是一个开源平台，它允许我们在本地机器上轻松设置和运行 LLM。它简化了下载、安装和与 LLM 交互的过程。至少应该有 8 GB内存 的 Intel i5处理器才能运行7B型号，如果需要运行13B 的型号CPU起码得至少需要16 GB 的是i5。以此类推32 GB 的 RAM 来运行 33B 型号。
Llama 3 CPU推理指南
新缸中之脑
05-26 806
备受期待的 Meta 第三代 Llama 现已发布，我想确保你知道如何以最佳方式部署这种最先进的 (SoTA) LLM。在本教程中，我们将重点介绍如何执行仅权重量化 (WOQ) 来压缩 8B 参数模型并改善推理延迟，但首先，让我们讨论一下 Meta Llama 3。
详解各种LLM系列｜（5）LLaMA 3模型解析（Meta重磅发布！）
weixin_49659123的博客
06-17 4493
本文对近期发布的llama3进行技术详解
如何在本地部署运行Llama3
lvaolan123456的博客
06-17 1352
Llama3 目前发布了8B和70B两种尺寸 huggingface Llama3模型主页：https://huggingface.co/meta-llama/ Github主页：https://github.com/meta-llama/llama3/tree/main ModelScope Llama3-8b模型主页：https://modelscope.cn/models/LLM-Research/Meta-Llama-3-8B/summary。
多云网络性能优化、边缘AI芯片革命与下一代WebAssembly生态
最新发布
资深全栈架构师，乐于在 CSDN 分享技术见解，与大家携手共进，共攀技术巅峰！
04-23 1034
我们将深入探讨「生物启发计算架构」，包含神经形态处理器在推荐系统中的应用实测和DNA存储技术的最新工程突破，敬请期待！
IPEX-LLM开源（便携版）是 Intel GPU带有 iGPU 的本地 PC，独立 GPU，如 Arc、Flex 和 Max）NPU 和 CPU 1 的LLM加速库，免安装运行 Ollama
struggle2025的博客
02-13 1967
IPEX-LLM 仅在 Windows 上提供 Ollama 可移植 zip。ipex-llm是一个将大语言模型高效地运行于 Intel(如搭载集成显卡的个人电脑，Arc 独立显卡、Flex 及 Max 数据中心 GPU 等)和 CPU 上的大模型 XPU 加速库。
AI大模型推理框架终极抉择：Ollama与vLLM该怎么选？
2301_81888214的博客
01-02 3038
本文将从框架简介、功能特性、性能表现、生态兼容性以及实际应用场景等方面进行对比，希望能为大家的选择提供参考。
编译运行 llama.cpp (vulkan, Intel GPU SYCL)
穷人小水滴的博客
08-23 3345
本文使用容器 (podman) 编译了 llama.cpp 的 vulkan 后端和 SYCL 后端, 并成功在 Intel GPU (A770) 运行, 获得了较快的语言模型推理速度.SYCL 后端比 vulkan 后端稍微快一点, 但不多. 使用的模型 (gguf), 生成长度, 软件驱动版本, 运行参数设置等很多因素, 都可能影响模型推理的速度, 所以本文中的运行速度仅供参考.SYCL 比 vulkan 快不了多少,但是使用 SYCL却非常麻烦!!
Ollama + Cherry Studio部署(I卡 - A770 16GB) - Windows10
yciyuan
02-11 1155
登录后点击头像 - > Settings - >Local Apps and Hardware -> Local Apps:勾选Ollama。不需要登录,但不能确定能不能下(有些模型不支持但你不知道.方法一不能使用的Use this model里就不会显示ollama)先conda activate llm-cpp 再ollama run deepseek-r1下载安装。注:可能需要梯子，可以使用国内的hf-mirror.com。搜索需要安装的模型,比如安装DeepSeek-r1模型。
Mac Intel 本地 LLM 部署经验汇总（CPU Only）
2401_84494441的博客
07-19 2921
vino 方案中输出的结果明显比 ollama 方案数据的结果要来得完整，但是 0.5B 模型输出的效果我觉得 ollama 的输出才算是正常的（毕竟 0.5B 参数少不能要求太高，而 vino 方案输出的感觉更超越上面提到的 14b-chat-q4_K_M 的输出，难道我也出现“幻觉”了？• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
llama 针对 Intel CPU 的优化
m0_37749564的博客
03-24 1557
intel 的 oneapi 对 llama 的优化
使用Ollama+Chatbox AI本地部署DeepSeek R1 7b版
weixin_39787913的博客
02-06 1630
使用Ollama+Chatbox AI在本地笔记本电脑上运行DeepSeek R1 7b模型
ULTRA5处理器安装大模型
01-17
### 如何在 ULTRA5 处理器上部署和运行大模型 #### 准备工作环境 为了成功地在英特尔® 酷睿™ Ultra5处理器上部署大型模型，首先需要设置适当的工作环境。确保操作系统已更新至最新版本，并安装必要的依赖库和支持软件包。 对于特定的大规模预训练模型如Llama 3.1 405B，在部署前需确认硬件配置满足最低要求，尤其是显存容量方面的要求[^2]。由于该模型体积庞大且计算密集型高，建议采用具备充足VRAM资源的GPU加速卡来辅助处理任务；如果仅依靠CPU，则可能面临较长的推理时间甚至无法完成加载的情况。 #### 安装 TensorFlow Lite Runtime 或其他框架支持 针对不同类型的神经网络架构可以选择合适的执行引擎。例如，当目标是在边缘设备或低功耗平台上高效运行轻量级AI应用时，可以考虑使用`TFLite Interpreter API`来进行TensorFlow Lite模型的解析与预测操作[^1]： ```python import tflite_runtime.interpreter as tflite interpreter = tflite.Interpreter(model_path="model.tflite") interpreter.allocate_tensors() ``` 而对于更复杂、参数更多的深度学习项目来说，《部署 Llama 3.1 405B：分步指南》提到可以通过CUDA工具链充分利用NVIDIA GPU的强大算力加快运算速度。 #### 模型转换与优化 考虑到实际应用场景中的性能需求以及能耗限制等因素，通常还需要对原始模型文件进行一系列针对性调整——比如裁剪冗余层结构、降低精度表示（FP32->INT8）、融合相邻节点等措施以达到更好的平衡状态。OpenVINO™ 工具套件提供了便捷易用的功能模块帮助开发者轻松实现上述目的，特别是在基于Intel CPU/GPU异构平台上的适配性尤为突出[^3]。 #### 测试验证阶段 最后一步就是通过编写简单的测试脚本来检验整个流程是否顺畅无误。这里给出一段Python代码片段用于调用已经准备好的YOLOv8检测算法实例化对象并传入待识别图像路径作为输入参数之一： ```python from ultralytics import YOLO # 加载本地保存下来的最优权重文件 model = YOLO('yolov8n_best.pt') results = model.predict(source='bus.jpg', show=True, save_txt=False) print(results) ``` 此过程同样适用于 Phi-3-min 等其他经过适当修改后的定制版模型[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值