最近发现一个不错的量化库-bigdl-llm,他可以帮助开发者在英特尔的cpu上快速的跑大模型,他还支持langchian
BigDL-LLM是一个专为Intel XPU（包括CPU和GPU）设计的轻量级大语言模型加速库。它在Intel平台上拥有广泛的模型支持，最低的延迟和最小的内存占用。BigDL-LLM是开源项目BigDL的一部分，采用Apache 2.0许可证发布。
你可以用BigDL-LLM做什么 你可以使用BigDL-LLM运行任何PyTorch模型（比如HuggingFace transformers模型）。在运行过程中，BigDL-LLM利用了低比特优化技术、现代硬件加速技术和一系列软件优化技术来自动加速LLM。
使用BigDL-LLM非常简单，只需更改一行代码，你就可以立即看到显著的加速效果。BigDL-LLM提供了多种低比特优化选择（比如INT3/NF3/INT4/NF4/INT5/INT8），并允许你在多种Intel平台上演示LLM，包括入门级笔记本（只使用CPU）、配备Intel Arc独立显卡的高端电脑、至强服务器，或者数据中心GPU（如Flex、Max）。
系统建议 首先，你需要选择一个合适的系统。以下是推荐的硬件与操作系统列表：
硬件： 至少16GB内存的英特尔个人电脑 搭载英特尔至强处理器和至少32GB内存的服务器
操作系统： Ubuntu 20.04或更高版本 CentOS 7或更高版本 Windows 10/11，无论是否有WSL都可以
设置Python环境 接下来，使用Python环境管理工具（推荐使用Conda）创建Python环境并安装必要的库
安装参考：
pip install --pre --upgrade bigdl-llm[all]支持的python环境是Python 3.9、3.10和3.11
参考使用：
#load Hugging Face Transformers model with INT4 optimizations from bigdl.llm.transformers import AutoModelForCausalLM
import AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('/path/to/model/', load_in_4bit=True)
#run the optimized model on CPU from transformers
tokenizer = AutoTokenizer.from_pretrained(model_path) input_ids = tokenizer.encode(input_str, ...)
output_ids = model.generate(input_ids, ...)
output = tokenizer.batch_decode(output_ids)保存和加载轻量后的模型
model.save_low_bit(model_path)
new_model = AutoModelForCausalLM.load_low_bit(model_path)已经验证过支持的大模型列表如下：
| Model | CPU Example | GPU Example |
| LLaMA (such as Vicuna, Guanaco, Koala, Baize, WizardLM, etc.) | , | |
| LLaMA 2 | , | , |
| ChatGLM | ||
| ChatGLM2 | ||
| ChatGLM3 | ||
| Mistral | ||
| Mixtral | ||
| Falcon | ||
| MPT | ||
| Dolly-v1 | ||
| Dolly-v2 | ||
| Replit Code | ||
| RedPajama | , | |
| Phoenix | , | |
| StarCoder | , | |
| Baichuan | ||
| Baichuan2 | ||
| InternLM | ||
| Qwen | ||
| Qwen1.5 | ||
| Qwen-VL | ||
| Aquila | ||
| Aquila2 | ||
| MOSS | ||
| Whisper | ||
| Phi-1_5 | ||
| Flan-t5 | ||
| LLaVA | ||
| CodeLlama | ||
| Skywork | ||
| InternLM-XComposer | ||
| WizardCoder-Python | ||
| CodeShell | ||
| Fuyu | ||
| Distil-Whisper | ||
| Yi | ||
| BlueLM | ||
| Mamba | ||
| SOLAR | ||
| Phixtral | ||
| InternLM2 | ||
| RWKV4 | ||
| RWKV5 | ||
| Bark | ||
| SpeechT5 | ||
| DeepSeek-MoE | ||
| Ziya-Coding-34B-v1.0 | ||
| Phi-2 | ||
| Yuan2 | ||
| Gemma | ||
| DeciLM-7B | ||
| Deepseek |
案例：使用bigdl结合flask部署一个whisper语音接口
pip install --pre --upgrade bigdl-llm[all] pip install flask pip install datasets soundfile librosa # required by audio processing
从Huggingface下载模型
网不好的话就从HF-Mirror
参考如下代码：
app = Flask(__name__)
@app.route('/v1/audio/transcriptions', methods=['POST'])
def upload_audio():
if request.method == 'POST': # 检查请求方法是否为 POST
# 获取上传的录音文件
audio_file = request.files['audio_file'] # 从请求中获取名为 'audio_file' 的文件
if audio_file is None: # 检查是否上传了文件
return jsonify({'error': 'Audio file not provided'}), 400 # 如果没有上传文件，返回错误 JSON 和状态码 400
# 读取录音文件并获取采样率
# 保存音频文件到本地
file_path = os.path.join(audio_file.filename) # 设置音频文件的保存路径
audio_file.save(file_path) # 保存上传的音频文件到本地
data_en, sample_rate_en = librosa.load(file_path, sr=16000) # 使用 librosa 加载音频数据和采样率
# 加载模型
audio_model = AutoModelForSpeechSeq2Seq.load_low_bit(pretrained_model_name_or_path="./whisper-medium") # 加载低位宽的 Whisper 模型
audio_processor = WhisperProcessor.from_pretrained(pretrained_model_name_or_path="./whisper-medium") # 加载 Whisper 预处理器
#tokenizer = AutoTokenizer.from_pretrained(save_directory, trust_remote_code=True) # 如果有需要，加载自定义的 tokenizer
# 定义任务类型
forced_decoder_ids = audio_processor.get_decoder_prompt_ids(language="zh", task="transcribe") # 获取解码器提示 ID，设置语言为中文，任务为转录
with torch.inference_mode(): # 将 PyTorch 设置为推理模式，以减少 GPU 占用
# 为 Whisper 模型提取输入特征
input_features = audio_processor(data_en, sampling_rate=sample_rate_en, return_tensors="pt", initial_prompt="以下是普通话的句子。").input_features
# 为转录预测 token id
st = time.time() # 开始时间戳
predicted_ids = audio_model.generate(input_features, forced_decoder_ids=forced_decoder_ids) # 生成预测的 token ID
end = time.time() # 结束时间戳
# 将 token id 解码为文本
transcribe_str = audio_processor.batch_decode(predicted_ids, skip_special_tokens=True) # 将 token ID 批量解码为文本字符串
print(transcribe_str) # 打印解码后的文本
return jsonify({'transcription': transcribe_str}) # 将解码后的文本作为 JSON 响应返回
if __name__ == '__main__':
app.run(host="0.0.0.0",port="3070")接下来可以用VSCODE调试
用postman测试你的接口
成功返回音频信息。使用bigdl-llm能在普通电脑快速的进行语音转换文字。
3755
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
