GLM4V + ChatTTS给大模型提供视觉和语音

GLM4V + ChatTTS AI 助手示例

本文将指导你如何设置和使用 GLM4V + ChatTTS AI 助手。该设置需要一些配置和准备，尤其是如果你在 Apple Silicon 设备上运行代码。以下是详细步骤。

用GLM 4v + Chat TTS实现给大模型加上眼镜和声音

前提条件

代码地址：glm4v-assistant
你需要一个 GLM_API_KEY 来运行此代码。将其存储在项目根目录的 .env 文件中，或设置为环境变量。

由于 GLM4V 无法读取本地图片，需先将图片上传到服务器。本教程使用腾讯云 COS，配置你的腾讯云 COS 并上传所需图片。

步骤指南-MacOS

第一步：安装 Miniconda 和 PortAudio

首先，你需要安装 Miniconda 和 PortAudio。打开终端并运行以下命令：

brew install portaudio
brew install miniconda

第二步：设置虚拟环境

安装 Miniconda 后，创建一个虚拟环境，更新 pip 并安装所需的包：

# 创建虚拟环境
conda create -n glm4v python=3.8
conda activate glm4v
conda install -c conda-forge pynini=2.1.5 && pip install WeTextProcessing

# 更新 pip
pip install --upgrade pip

# 安装所需包
pip install -r requirements.txt