英特尔技术实践分享

本文链接：https://blog.csdn.net/qq_39780313/article/details/139269452

英特尔技术介绍

英特尔在支持大模型技术方面采取了多种策略和技术创新，特别是在其第五代英特尔至强（Xeon）CPU上，旨在优化人工智能（AI）推理性能，特别是针对大语言模型和其他复杂的人工智能任务。以下是一些关键技术点和产品创新：

OpenVINO™ 工具套件：这是一个开源的AI推理和部署优化工具包，它帮助开发者和企业加速各种AI应用，包括生成式人工智能（AIGC）、大语言模型和计算机视觉应用。OpenVINO能够跨英特尔全系列硬件（包括CPU、GPU、FPGA等）优化深度学习推理性能。

oneDNN 和 oneCCL：这两个库对提高CPU上的大模型运行效率至关重要。oneDNN是一个专门为深度学习设计的性能库，它能够跨多种架构优化性能。而oneCCL（Collective Communications Library）则提供了高度优化的通信例程，有助于在分布式环境中加速模型训练。

AMX（Advanced Matrix Extensions）和AVX-512指令集：这些是英特尔CPU中的高级指令集，专门用于加速人工智能和机器学习工作负载。它们增强了CPU在处理大规模矩阵运算时的性能，这对于大模型的推理和训练至关重要。

能源效率：第五代英特尔至强CPU在设计时考虑了节能减碳的需求，意味着它们能够在保持高性能的同时减少能源消耗，这对于运行能耗密集型的大模型来说是一个重要优势。

产品和技术创新：除了硬件层面的优化，英特尔还推出了一系列软件和算法层面的创新，以确保CPU能高效运行大模型。这包括模型优化、量化技术，以及利用英特尔的生态系统和合作伙伴关系来推动AI解决方案的部署。

综上所述，英特尔大模型技术的核心在于结合了硬件优化（如CPU指令集的升级、高效的芯片设计）与软件工具（如OpenVINO、oneDNN和oneCCL）的综合策略，以实现AI大模型在CPU上的高效推理和部署，同时兼顾了性能与能效。

实验过程及内容

一、注册和登录ModelScope

1.注册并登录ModelScope
在这里插入图片描述

2.绑定阿里云账号，并启动cpu服务器
在这里插入图片描述

二、环境配置

cd /opt/conda/envs
mkdir itrex
wget https://idz-ai.oss-cn-hangzhou.aliyuncs.com/LLM/itrex.tar.gz
tar -zxvf itrex.tar.gz -C itrex/
conda activate itrex
python -m ipykernel install --name itrex

在这里插入图片描述

三、创建notebook

1.基于itrex kernel新建notebook
在这里插入图片描述

2.下载模型

!git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
!git clone https://www.modelscope.cn/AI-ModelScope/bge-base-zh-v1.5.git

在这里插入图片描述

3.准备知识库文件 sample.jsonl，并添加一条知识文件

{"content": "cnvrg.io网站由 Yochay Ettun 和 Leah Forkosh Kolben创建 .", "link": 0}

4.提出问题“cnvig.io网站是由谁创建的？”，得到disable retrieval和enable retrieval的答案

plugins.retrieval.enable=False # disable retrieval 
response = chatbot.predict(query="cnvrg.io网站是由谁创建的？ ？") 
print(response)

plugins.retrieval.enable=True # enable retrieval 
response = chatbot.predict(query="cnvrg.io网站是由谁创建的？ ？") 
print(response)

在这里插入图片描述