（1）山东大学项目实训第七周——大模型及其在微信小程序中的接入调研

在本次实训中，我们将重点研究和探讨如何将大模型（Large Language Models, LLMs）集成到微信小程序中，尤其是开源的VisualGLM-6B模型。以下是我们对几种开源大模型的调研总结，以及为什么选择VisualGLM-6B作为我们的主要模型。

一、开源大模型

1. ChatGLM3-6B

概述

ChatGLM3-6B是新一代开源双语对话语言模型，拥有10B以下最强的基础模型。它支持工具调用（Function Call）、代码执行（Code Interpreter）、Agent任务等功能。这个模型不仅能够进行高效的对话，还能够在复杂任务中表现出色。

资源链接

1.https://github.com/THUDM/ChatGLM3

2.https://github.com/THUDM/ChatGLM-6B

应用

基于或使用了ChatGLM2-6B的开源项目包括：

• Chuanhu Chat: 提供美观易用、功能丰富的用户界面，支持ChatGLM2-6B。
• 在线训练示例项目: 部署与微调教程，帮助用户快速上手。

2. 图像和视频生成式AI

在图像和视频生成方面，几种主要的开源模型包括：

• Stable Diffusion: 开源图像生成模型，支持高度定制化的图像生成。
• 其他平台: 如Midjourney、DALLE2、Make-A-Video（Meta）、Imagen Video（谷歌）。

3. 语音转文本模型

Whisper

Whisper是OpenAI的开源模型，能够高效地将语音转化为文本，适用于语音识别和转录任务。

百度飞桨

飞桨是百度的开源深度学习平台，提供了一系列基础模型库，包括语音识别和合成模型。

4.多模态大模型 VisualGLM-6B 

功能介绍

VisualGLM-6B是一个强大的多模态大模型，支持处理和理解多种数据类型，包括文本和图像。它不仅具备传统语言模型的对话和语言生成能力，还能够进行图像识别、图像生成和多模态信息处理。这使得它在需要综合处理多种数据类型的应用场景中表现尤为突出。

主要特点

1. 多模态支持: VisualGLM-6B能够同时处理文本和图像数据，实现文字与图像的无缝结合。例如，它可以根据文本描述生成对应的图像，或从图像中提取相关的文本信息。
2. 高效的对话功能: 该模型不仅支持自然语言对话，还可以理解和生成多轮对话，适用于智能客服和虚拟助手等场景。
3. 开源和社区支持: VisualGLM-6B是一个开源模型，拥有广泛的社区支持和丰富的资源，用户可以方便地获取模型文件和相关文档，并在社区中交流和分享经验。
4. 灵活的工具调用: 支持多种工具调用和代码执行功能，使其在处理复杂任务时更加灵活和高效。

二、进阶：如何加载和运行已经训练好的大模型

在加载和运行一个已经训练好的大模型时，需要考虑以下几点：

1. 模型资源的获取与管理: 确保模型文件和依赖库的完整性。
2. 硬件要求: 大模型通常需要高性能的计算资源，如GPU支持。
3. 优化与微调: 根据具体应用场景进行模型的优化和微调，以提升性能。

为什么选择VisualGLM-6B？

1. 功能强大

VisualGLM-6B不仅在语言处理上表现出色，还支持多模态任务，包括图像和文本的联合理解与生成。这使得它在需要处理多种数据类型的应用中表现尤为突出。

2. 开源社区支持

作为一个开源模型，VisualGLM-6B拥有活跃的社区支持，用户可以方便地获取资源、交流经验，并得到及时的技术支持。这大大降低了集成和开发的难度。

3. 易于部署和微调

VisualGLM-6B提供了详细的部署和微调教程，帮助开发者快速上手，并根据具体需求进行调整。这使得它在实际应用中更加灵活和高效。

4. 性能优越

在多项基准测试中，VisualGLM-6B都表现出了领先的性能，特别是在中文和多模态任务上。这保证了它在处理复杂任务时的可靠性和准确性。

三、总结

VisualGLM-6B作为一个多模态大模型，具备强大的功能和广泛的应用潜力。通过详细的调研和实践，我们可以充分利用其多模态支持、高效的对话功能和强大的工具调用能力，将其集成到微信小程序中，实现更智能、更高效的应用场景。