部署端侧大模型

端侧大模型是当前人工智能领域的热点话题。

一.端侧大模型发展现状

1.论文： 《On-Device Language Models: A Comprehensive Review》

链接：https://arxiv.org/abs/2409.00088

简介： 该论文全面综述了设备端语言模型的发展，包括高效架构设计、模型压缩技术及硬件加速策略，并通过案例研究展示其实际应用及潜在优势。

2.文章： 《万字长文细说端侧大模型进展(综述)》

链接：万字长文细说端侧大模型进展(综述) - 文章 - 开发者社区 - 火山引擎

简介： 详细介绍了端侧大模型的最新进展，包括模型架构、压缩技术、硬件加速等方面的内容。

二.部署端侧大模型流程

1.需求分析与模型选择：

明确应用场景和需求，确定所需模型的功能和性能要求。

根据需求选择合适的轻量化模型或预训练模型，如语言模型（MobileBERT、DistilGPT等）、语音模型（如OpenAI Whisper的轻量版）或多功能模型（如Llama 2系列的轻量版）。

2.模型优化：

对选定的模型进行剪枝<