ITREX大语言模型量化-优化工具

一、定义

1. 定义
2. demo 案例

二、实现

1. 定义
   ITREX 是Intel 提出的量化加速工具，https://github.com/intel/intel-extension-for-transformers
   本实验基于英特尔大模型优化加速技术对大模型预测进行加速，常见的优化优化技术包括：量化（Quantization）、混合精度（Mixed Precision）、剪枝/稀疏性（Pruning/Sparsity）和蒸馏（Distillation）。
   LLM（Low-Level Machine）相关的优化技术包括：平滑量化（Smooth Quant）、仅权重量化（Weight only Quantization）和FP8。

2. demo 案例
   网址：https://github.com/intel/intel-extension-for-transformers?tab=readme-ov-file
   环境安装：pip install intel-extension-for-transformers
   案例待续，见https://github.com/intel/intel-extension-for-transformers/tree/main?tab=readme-ov-file