开发者实战|在英特尔® 酷睿™ Ultra AI PC 上部署多种图像生成模型快速实现文生图功能

点击蓝字

关注我们,让开发变得更有趣

作者 | 颜国进 英特尔创新大使

作者 | 李翊玮 英特尔开发者技术推广工程师

OpenVINO™

前言

1.1 英特尔® 酷睿™ Ultra 2处理器

全新英特尔酷睿 Ultra 200V 系列处理器对比上代 Meteor Lake,升级了模块化结构、封装工艺,采用全新性能核与能效核、英特尔硬件线程调度器、Xe2微架构锐炫 GPU、第四代 NPU 等,由此也带来了 CPU 性能提升18%,GPU 性能提升30%,整体功耗降低50%,以及 120TOPS 平台 AI 算力。

酷睿 Ultra 200V 系列处理器共有9款 SKU,包括1款酷睿 Ultra 9、4款酷睿 Ultra 7以及4款酷睿 Ultra 5,全系8核心8线程(4个性能核与4个能效核),具体规格如下:

作为新一代旗舰,酷睿 Ultra 9 288V 性能核频率最高5.1GHz、能效核频率最高3.7GHz,拥有12MB三级缓存。GPU 方面,集成锐炫140V显卡,拥有8个全新Xe2核心、8个光线追踪单元,频率最高2.05GHz,可以实现 67TOPSAI 算力。而 NPU 集成6个第四代神经计算引擎,AI 算力提升至 48TOPS。

本文是用 KHARAS(深圳市世野科技 https://www.khadas.com/product-page/mind-maker-kit-lnl) 提供基于英特尔酷睿 Ultra的 AI PC,只有435g, 以下为其参数:

主要特点

o Intel® Core™ Ultra Processor Series 2 

o AI Performance: up to 115 TOPS 

o NPU: 4.0 AI Engine, up to 47 TOPS 

o GPU: Intel® Arc™ 140V, up to 64 TOPS 

o 32GB LPDDR5X Memory, 1TB PCIe SSD 

o Copilot+ PC: Windows AI assistant 

o Battery Life Optimization

o WiFi+ Bluetooth: AX211D2 

处理器信息如下表所示:

1.2 OpenVINO™ GenAI

OpenVINO™ GenAI 是英特尔推出的生成式 AI 开发工具库,基于 OpenVINO™ 工具套件构建,专注于在英特尔硬件(CPU、GPU、NPU)上高效优化和部署生成式模型。其核心能力涵盖 ‌文本生成‌、‌图像生成‌、‌多模态推理‌ 等场景,通过硬件加速、模型压缩和开发工具链集成,显著提升生成式 AI 的推理性能与部署效率。开发者可通过 Text2ImagePipeline 工具部署 stable-diffusion、Flux.1d 等图像生成模型及变体快速生成高精度图像,并结合 LoRA 适配器实现风格化定制‌。针对大语言模型(如 Mistral-7B、DeepSeek 蒸馏模型),GenAI 提供动态批处理、INT8 量化和提示词解码优化,在文档问答等高相似性场景中减少生成延迟‌。此外,其多模态能力扩展至语音转录(Whisper 模型)和视觉语言模型(如 LLaVA),支持端到端跨模态推理‌。

1.3 文生图模型

文生图模型是基于深度学习技术实现文本到图像生成的核心工具,其核心原理是通过自然语言处理与计算机视觉的结合,将文本语义转化为视觉元素,并利用逆向扩散过程逐步生成高质量图像‌。这类模型主要采用‌扩散模型框架‌,通过前向加噪与逆向去噪的迭代过程,将随机噪声逐步重构为符合文本描述的图像,其中UNet网络承担着跨模态特征融合的关键角色‌23。当前主流模型已广泛应用于‌艺术创作‌(如插画风格化生成)、‌工业设计‌(产品原型可视化)及‌影视游戏‌(场景概念图生成)等领域,尤其在需要快速原型迭代的场景中展现出显著优势‌。

在具体模型中,‌Stable Diffusion‌ 作为开源领域的标杆,基于潜在扩散模型(LDM)构建,其核心创新在于将图像压缩至低维潜在空间进行扩散运算,大幅降低计算开销‌23。该模型支持 ControlNet 插件实现姿态控制、边缘引导等精细化生成,并通过 LoRA 微调技术快速适配特定艺术风格,例如在生成“卡通小老虎头像”时可通过调整提示词参数实现毛发细节优化‌13。而‌ FLUX.1‌ 作为 2024年后起之秀,则通过动态分层量化技术突破硬件限制,在英特尔 CPU/GPU 上实现了更高分辨率的实时生成(如4096×4096像素级输出),其独有的多模态联合训练框架支持“文本+草图”混合输入,特别适用于工业设计领域的产品外观迭代‌14。

FLUX.1 还创新性地引入 Yarn 风格 LoRA 适配器,在生成机械结构图时能自动保持几何比例精确性,较传统模型减少30%的后期人工修正工作量‌46。这两大模型分别代表开源生态与商业化落地的技术路径,推动文生图技术向专业化、场景化方向持续演进‌。

OpenVINO™

模型下载与转换

2.1 环境配置

模型下载与转换需要使用的 Python 环境,因此此处我们采用 Anaconda,然后用下面的命令创建并激活名为 optimum_intel 的虚拟环境:

conda create -n optimum_intel python=3.11     #创建虚拟环境conda activate optimum_intel     #激活虚拟环境python -m pip install --upgrade pip     #升级pip到最新版本

由于 Optimum Intel 代码迭代速度很快,所以选用从源代码安装的方式,安装 Optimum Intel 和其依赖项 OpenVINO™ 与 NNCF。

python -m pip install "optimum-intel[openvino,nncf]"@git+https://github.com/huggingface/optimum-intel.git

2.2 常规方式下载与转换模型

目前 OpenVINO™ GenAI 支持了多种图像生成模型,包括了 Latent Consistency Model、Stable Diffusion、Stable Diffusion Inpainting、Flux 等系列模型,模型导出和下载方式基本一致,此处以 stable-diffusion-v1-5 模型为例,演示文生图模型的下载方式。

此处我们使用 Git 进行模型下载,目前文生图这种大模型文件可以在 HuggingFace 社区下载,在 HuggingFace 社区检索对应的模型,并获取模型对应的链接,使用 Git 输入以下指令:

git clone https://huggingface.co/stable-diffusion-v1-5/stable-diffusion-v1-5

不过对于国内的小伙伴可能访问 HuggingFace 社区不方便,不过如果我们要想快速下载模型,可以通过国内的魔塔社区进行下载,下载链接如下所示:

git clone https://www.modelscope.cn/AI-ModelScope/stable-diffusion-v1-5.git

将模型保存在本地后,需要使用 optimum-intel 工具将模型转换为 OpenVINO™ GenAI 格式,此外也可以将模型进行量化,加快模型推理速度,转换命令如下所示:

optimum-cli export openvino --model ./stable-diffusion-v1-5 –task text-to-image --weight-format int4 --group-size 64 --ratio 1.0 ./stable-diffusion-v1-5-int4

2.3 模型快速获取

但是上面模型获取和下载方式依旧比较麻烦,并且转换模型需要更大的内存,且在环境安装和模型下载时容易出现错误,不过此处OpenVINO™ 官方提供了转换好的模型,可以直接下载就可以使用,文生图模型库链接如下所示:

https://huggingface.co/collections/OpenVINO/image-generation-67697d9952fb1eee4a252aa8

此处也可以通过Git进行下载,使用Git下载链接如下:

git clone https://huggingface.co/OpenVINO/stable-diffusion-v1-5-int8-ov

同样地,对于不方便访问HuggingFace社区的小伙伴,此处依旧可以使用莫塔社区进行下载,下载链接如下:

git clone https://www.modelscope.cn/OpenVINO/stable-diffusion-v1-5-int8-ov.git

下载后的模型文件为:

OpenVINO™

OpenVINO™ GenAI 安装与 C++项目配置

OpenVINO™ GenAI C++项目的安装与配置与OpenVINO™基础版本完全一致,如果你之前配置过OpenVINO™,那么此处可以完全忽略。此外,我们此处使用OpenCV进行图像数据处理和展示,因此此处还需要安装OpenCV第三方库,安装方式大家可以自行百度查找。

首先访问下面链接,进入下载页面:

https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/download.html

然后再下载页面选择相应的包以及环境,然后点击下载链接进行下载,如下图所示:

文件下载完成后,将其解压到任意目录,此处建议解压到 C:\Program Files\Intel 目录下,并将文件夹名修改为较为简洁表述,如下图所示:

最后在环境变量PATH中添加以下路径:

C:\Program Files\Intel\openvino_genai_windows_2025.0.0.0_x86_64\runtime\bin\intel64\Debug

C:\Program Files\Intel\openvino_genai_windows_2025.0.0.0_x86_64\runtime\bin\intel64\Release

C:\Program Files\Intel\openvino_genai_windows_2025.0.0.0_x86_64\runtime\3rdparty\tbb\bin

至此为止,我们便完成了OpenVINO™ GenAI 下载与安装。

C++项目主要是需要配置包含目录、库目录以及附加依赖项,分别在C++项目中依次进行配置就可以:

包含目录:

# Debug和Release

C:\Program Files (x86)\Intel\openvino_genai_2024.2\runtime\include

C:\Program Files (x86)\Intel\openvino_genai_2024.2\runtime\include\openvino\genai

C:\Program Files (x86)\Intel\openvino_genai_2024.2\runtime\include\openvino

C:\Program Files\Intel\opencv_4.11.0\build\include

库目录:

# Debug

C:\Program Files (x86)\Intel\openvino_genai_2024.2\runtime\lib\intel64\Debug

C:\Program Files\Intel\opencv_4.11.0\build\x64\vc16\lib

# Release

C:\Program Files (x86)\Intel\openvino_genai_2024.2\runtime\lib\intel64\Release

C:\Program Files\Intel\opencv_4.11.0\build\x64\vc16\lib

附加依赖项

# Debug

openvinod.lib

openvino_genaid.lib

opencv_world4110d.lib

# Release

openvino.lib

openvino_genai.lib

opencv_world4110.lib

上面依赖库路径只是本机配置路径,大家在复现的时候可以根据本机路径进行配置。由于OpenVINO™ GenAI已经将模型的前后处理流程进行了封装,因此在使用时代码十分简洁。下面是模型推理的核心代码:

#include "image_generate.h"int text_generate_image(std::string model_path, std::string device) {    try {        std::string prompt;        ov::genai::Text2ImagePipeline pipe(model_path, device);        while (1) {            std::cout << "------------------------" << std::endl << "Please ask:" << std::endl;            std::getline(std::cin, prompt);            ov::Tensor image = pipe.generate((prompt),                ov::genai::width(1024),                ov::genai::height(512),                ov::genai::num_inference_steps(4),                ov::genai::num_images_per_prompt(1));            cv::Mat mat = tensor_to_mat(image);            cv::imshow("image", mat);            cv::waitKey(0);        }        return EXIT_SUCCESS;    }    catch (const std::exception& error) {        try {            std::cerr << error.what() << '\n';        }        catch (const std::ios_base::failure&) {}        return EXIT_FAILURE;    }    catch (...) {        try {            std::cerr << "Non-exception object thrown\n";        }        catch (const std::ios_base::failure&) {}        return EXIT_FAILURE;    }}}

项目全部源码已经上传到GitHub上,源码链接为:

https://github.com/guojin-yan/OpenVINO-GenAI-Samples/tree/master/src/ImageGenerate

OpenVINO™

效果演示

在运行代码后,我们可以根据自己的想法进行提问,程序就会调用模型进行推理实现图像生成,下面是几张通过输入图像描述生成的图片:

Draw a rabbit with a small wooden sign that says "Hello". The background behind the rabbit is mountains, waterfalls, and flowers.

A mysterious forest, with sunlight shining through dense tree crowns, creating mottled light and shadow. The trees are covered with various strange vines and flowers, and by the path is a shimmering stream. In the distance, an ancient castle or ruins can be faintly seen.

A high-tech future city, with skyscrapers soaring into the sky and surfaces covered in glowing panels. At night, the entire city seems to be adorned with starlight. Various aircraft shuttle through the air, while on the ground are busy autonomous vehicles and pedestrians.

A steampunk world that blends retro and sci-fi elements. The huge mechanical device is driven by steam, with gears and pipes exposed. Retro style steam locomotives run on the streets, and airships float in the sky. People wear Victorian era clothing but hold high-tech devices in their hands

注:以上图片是通过AI生成,生成模型为LCM_Dreamshaper_v7和FLUX.1-schnell,生成描述通过DeepSeek-R1模型生成。

OpenVINO™

总结

本文详细介绍了在英特尔® 酷睿™ Ultra AI PC 上部署多种图像生成模型,快速实现文生图功能的全流程。

英特尔酷睿 Ultra 200V 系列处理器凭借全新模块化结构、封装工艺以及先进的性能核与能效核、Xe2 微架构锐炫 GPU、第四代 NPU 等技术,带来了显著的性能提升。酷睿 Ultra 9 288V 作为旗舰型号,具备强大的多核性能、高频率的 GPU 以及可观的 NPU 算力,为图像生成模型的运行提供了坚实的硬件支撑。OpenVINO™ GenAI 作为英特尔推出的生成式 AI 开发工具库,基于 OpenVINO™ 工具套件构建,专注于在英特尔硬件上高效优化和部署生成式模型。未来我们将基于OpenVINO™ GenAI C++ API推出C# API,实现在C#平台部署大模型。

OpenVINO™

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值