GeoGPT4V 项目安装和配置指南

GeoGPT4V 项目安装和配置指南

GeoGPT4V 项目地址: https://gitcode.com/gh_mirrors/ge/GeoGPT4V

1. 项目基础介绍和主要编程语言

项目介绍

GeoGPT4V 是一个面向几何多模态大语言模型的开源项目，旨在通过几何图像生成技术增强模型的多模态几何能力。该项目由阿里巴巴团队开发，提供了代码和数据集，支持几何问题的生成、训练和评估。

主要编程语言

该项目主要使用 Python 编程语言进行开发。

2. 项目使用的关键技术和框架

关键技术

• GPT-4 和 GPT-4V：用于生成几何问题及其对应的图像。
• 几何图像生成：通过 GPT-4V 生成与几何问题相关的图像。
• 多模态数据处理：处理文本和图像数据，进行模型训练和评估。

框架

• Python：主要编程语言。
• Conda：用于创建和管理虚拟环境。
• Hugging Face：用于下载和使用预训练模型和数据集。

3. 项目安装和配置的准备工作和详细安装步骤

准备工作

1. 安装 Python：确保你的系统上安装了 Python 3.10 或更高版本。
2. 安装 Conda：建议使用 Conda 来管理 Python 环境和依赖包。
3. 安装 Git：用于克隆项目仓库。

详细安装步骤

步骤 1：克隆项目仓库

首先，打开终端并运行以下命令来克隆 GeoGPT4V 项目仓库：

git clone https://github.com/alibaba/GeoGPT4V.git
cd GeoGPT4V

步骤 2：创建并激活 Conda 环境

使用 Conda 创建一个新的 Python 环境，并激活该环境：

conda create -n geogpt4v python=3.10 -y
conda activate geogpt4v

步骤 3：安装项目依赖

在激活的环境中，安装项目所需的依赖包：

pip install -r requirements.txt

步骤 4：安装 Wolfram Engine（可选）

如果你需要使用 Wolfram Engine，请按照其官方教程进行安装。

步骤 5：数据准备

下载所需的开放数据集，如 Geometry3K 和 GeoQA，或者使用你自己的数据集。将数据集转换为 JSON 行文件格式，并保存为 dataset.jsonl。

步骤 6：运行数据生成脚本

按照以下顺序运行数据生成脚本，并根据需要修改数据集路径和 API 密钥：

sh scripts/gen_instruction_gpt4v_mp.sh
sh scripts/gen_image_mp.sh
sh scripts/rerank_gp4v_mp.sh
sh scripts/filter.sh

步骤 7：模型训练

你可以使用官方提供的训练代码或自己的代码进行模型训练。运行以下脚本将 GeoGPT4V 数据集转换为所需的格式：

sh scripts/convert_format.sh

步骤 8：下载预训练模型（可选）

你可以从 Hugging Face 下载预训练模型，如 LLaVA-1.5-7B-GeoGPT4V 等。

总结

通过以上步骤，你已经成功安装并配置了 GeoGPT4V 项目。现在你可以开始使用该项目进行几何多模态大语言模型的开发和研究。

GeoGPT4V 项目地址: https://gitcode.com/gh_mirrors/ge/GeoGPT4V