TGRS | FSVLM: 用于遥感农田分割的视觉语言模型

论文介绍

题目：FSVLM: A Vision-Language Model for Remote Sensing Farmland Segmentation

期刊：IEEE Transactions on Geoscience and Remote Sensing

论文：https://ieeexplore.ieee.org/document/10851315

年份：2025

单位：中南大学

创新点 

• 构建 FIT 数据集：首次建立了农田图像-文本对（Farmland Image-Text Pair, FIT）数据集，包括图像的语义描述和分割掩膜，覆盖中国四个省份的多种地貌与气候类型；

• 提出 FSVLM 模型：结合语义分割模型与多模态大语言模型（LLM），采用“embedding-as-mask”策略实现语言引导的图像分割；

• 分析语言描述影响：通过消融实验，发现描述农田属性（如分布、形状等）的文本比描述周边环境的文本对分割精度提升更显著。

【遥感图像分类实战项目】

这才是科研人该学的！基于深度学习的遥感图像分类实战，一口气学完图像处理、特征提取、分类算法、变化检测、图像配准、辐射校正等7大算法！通俗易懂，新手也能学会！https://www.bilibili.com/video/BV1qYvaePEoE/?spm_id_from=333.337.search-card.all.click

数据

覆盖区域：

• 中国四个省份的7个城市/地区：

  • 湖南：邵阳、衡阳

  • 广东：梅州、茂名、湛江

  • 安徽：亳州

  • 云南：西双版纳

• 这些区域地形多样（平原、丘陵、山地、台地），气候类型涵盖亚热带、温带和热带。

• 

 

图像数据：

• 来源：Google卫星图像（0.5 米分辨率）

• 时间：涵盖全年不同月份，反映农田物候变化

• 数量：共 7269 张图像，裁剪为 512×512 尺寸

• 预处理：

  • 使用 ENVI 进行大气校正和畸变去除

  • 使用 Segment Anything Model (SAM) + Labelme 进行半自动标注

文本描述：

• 使用 12 个关键因素构建农田描述模板，包括：

  • 农田内部：形状、分布、道路、地形等

  • 周边环境：水体、建筑、植被分布等

  • 时间与地理信息：拍摄时间、地理位置等

• 通过模板化选项在 Labelme 中实现半自动化生成，显著降低人工成本。

核心步骤：

• 选取多地区、多气候、多作物的图像，确保数据多样性；

• 利用大语言模型能力，设计基于12个关键描述因子的文本模板；

• 结合图像内容，半自动生成语言描述；

• 使用 Segment Anything Model（SAM）辅助生成图像掩膜，提升标注效率；

• 最终构建图像、掩膜、文本三元组的数据集（FIT）。

2. LoveDA 数据集（用于模型泛化测试）

• 来源：由 RSIDEA 团队构建

• 分辨率：0.3 米

• 地点：南京、常州、武汉

• 用于测试区域泛化能力，仅使用其 rural 部分（包含 2358 张图像）

• 训练中未使用 LoveDA，确保其为“完全未知”的测试集

方法

方法包括FIT数据集构建和FSVLM模型，这里主要介绍模型，FIT见上一节。

FSVLM（Farmland Segmentation Vision-Language Model）是本文提出的一种结合遥感图像与语言描述的多模态模型，旨在提升农田分割的准确性和泛化能力。该模型的设计主要包括两个核心部分：多模态语言模块 和 图像分割模块。

基于深度学习的遥感图像分类实战，一口气学完图像处理、特征提取、分类算法、变化检测https://www.bilibili.com/video/BV1qYvaePEoE/?spm_id_from=333.337.search-card.all.click&vd_source=75de451a527a341260671f8dfa9534001. 多模态语言模块（基于大语言模型）

✅ 主要功能：

• 理解输入的农田描述文本；

• 提取用于引导分割的关键信息；

• 输出可用于图像分割的引导特征。

🧩 结构特点：

• 文本输入：包括提示文本（如“请输出农田分割掩膜”）和图像对应的描述文本（基于12个因子，如形状、水体、地形等）；

• 语言模型：使用 LLaVA（一个视觉语言助手）和 Vicuna 作为基础大语言模型；

• 分割标记嵌入：在语言输入中嵌入特殊标记（如 <SEG>），引导模型输出与分割相关的特征；

• 特征输出：语言模型输出的嵌入通过多层感知器（MLP）处理，生成语义引导特征，传递给图像模块。

2. 图像分割模块（基于 Segment Anything Model, SAM）

✅ 主要功能：

• 提取图像的空间视觉特征；

• 融合语言引导特征；

• 输出精确的农田掩膜。

🧩 结构特点：

• 视觉编码器：使用预训练的 ViT（Vision Transformer）提取图像的多尺度特征；

• 提示编码器：接收语言模块生成的提示特征，生成稀疏引导信息；

• 解码器：融合视觉特征与提示特征，生成最终的农田分割掩膜；

• 参数优化：视觉编码器参数冻结，仅训练解码器和提示引导模块；为提高效率，使用 LoRA 进行轻量级微调。

模态融合流程

• 图像输入 → 提取图像特征；

• 文本输入（包括提示+描述）→ 语言模型处理，生成分割引导；

• 将图像特征与引导特征融合 → 解码器输出分割结果。

结果与分析

FSVLM 通过融合图像与语言信息，显著提升了遥感农田分割的精度与鲁棒性。实验结果表明，FSVLM 在多区域、多模型对比中均取得最佳表现，具备出色的泛化能力。