大语言模型调研

调研目标

1.BELLE
2.ChatGLM
3.ChatYuan

1.BELLE

1.1 简单介绍

BELLE（BE Large Language model Engine），该项目旨在促进中文对话大模型开源社区的发展。其愿景是通过 LLM 引擎为每个人提供帮助。为了实现这个目标，该项目基于开源预训练大语言模型，如BLOOM和LLAMA，进行了中文优化。模型调优过程仅使用由 ChatGPT 生产的数据，而不包含任何其他数据，为中文指令提供更好的支持。

1.2 部署条件

该模型目前只支持应用的形式进行部署，即基于BELLE模型的跨平台离线大语言模型交谈App。使用量化后的离线端上模型配合Flutter，可在macOS（已支持）、Windows、Android、iOS等设备上运行。

macOS

建议使用M1/M2系列芯片配合16G RAM以获得最佳体验。如果推理速度过慢，可能是内存不足，可以尝试关闭其他app以释放内存。8G内存会非常慢。 Intel芯片理论上也可以跑，但是速度较慢。

Windows、Android、iOS

尚未支持。

1.3 是否支持通过API访问

不支持，仅支持通过下载应用的形式使用。