可见光-红外遥感图像对数据集

红外图像/红外遥感图像/可见光红外图像对

包含近红外和可见光成对图像
 

针对于遥感地形数据，森林河流湖泊山脉等
 

主要用于生成对抗网络的风格迁移，或者图像融合/图像生成/图像转换
 

可见光遥感生成红外遥感图像，共37500对图像数据

可见光-红外遥感图像对数据集

数据集描述

该数据集是一个专门用于训练和评估生成对抗网络（GAN）及其他图像处理技术的数据集，旨在帮助研究人员和开发者在遥感领域实现风格迁移、图像融合、图像生成以及图像转换。数据集包含37500对高质量的近红外和可见光成对图像，覆盖了多种地形特征，包括森林、河流、湖泊和山脉等自然景观。通过这些配对图像，可以有效地训练模型将可见光遥感图像转换为对应的红外遥感图像，反之亦然。数据集提供了丰富的多样性，支持开发高效且准确的图像处理系统。

数据规模

• 总样本数量：37500对图像
• 每对图像组成：
  • 可见光图像
  • 近红外图像
• 分辨率：具体分辨率需要根据实际数据集来确定，通常为高分辨率图像以确保细节清晰。
• 应用场景：主要用于生成对抗网络（GAN）的风格迁移、图像融合、图像生成及图像转换。

图像特性

• 多样化场景：覆盖了多种自然环境下的遥感图像，包括不同的地形、植被覆盖情况和水体分布。
• 高质量配对图像：每对图像都经过精确对齐，保证了可见光与近红外图像之间的空间一致性。
• 多用途应用：不仅适用于风格迁移，还可以用于图像融合、图像生成以及其他形式的图像处理任务。
• 无需预处理：数据集已经过处理，可以直接用于训练，无需额外的数据预处理步骤。

应用场景

• 风格迁移：利用GAN或其他深度学习技术，将可见光遥感图像转换为红外遥感图像，或反之。
• 图像融合：结合可见光和红外图像的优点，生成更加丰富信息的复合图像。
• 图像生成：基于可见光图像生成相应的红外图像，或者基于红外图像生成可见光图像。
• 遥感分析：增强遥感数据分析能力，提高对地表特征的理解和识别精度。
• 环境保护：监测森林覆盖率、河流湖泊变化等，辅助环境保护工作。
• 灾害管理：快速评估自然灾害（如洪水、火灾）的影响范围和程度。
• 城市规划：支持城市扩展和基础设施建设的规划决策。

数据集结构

典型的数据集目录结构如下：

1visible_infrared_dataset/
2├── train/
3│   ├── visible/
4│   │   ├── img_00001.jpg
5│   │   ├── img_00002.jpg
6│   │   └── ...
7│   ├── infrared/
8│   │   ├── img_00001.jpg
9│   │   ├── img_00002.jpg
10│   │   └── ...
11├── val/
12│   ├── visible/
13│   │   ├── img_00001.jpg
14│   │   ├── img_00002.jpg
15│   │   └── ...
16│   ├── infrared/
17│   │   ├── img_00001.jpg
18│   │   ├── img_00002.jpg
19│   │   └── ...
20├── test/
21│   ├── visible/
22│   │   ├── img_00001.jpg
23│   │   ├── img_00002.jpg
24│   │   └── ...
25│   ├── infrared/
26│   │   ├── img_00001.jpg
27│   │   ├── img_00002.jpg
28│   │   └── ...
29├── scripts/
30│   ├── train_gan.py
31│   ├── evaluate_gan.py
32│   ├── visualize_results.py
33│   ├── data_augmentation.py
34├── config/
35│   ├── data.yaml  # 数据集配置文件
36│   ├── model.yaml  # 模型配置文件
37├── requirements.txt  # 依赖库
38└── README.md  # 数据说明文件

数据说明

• 检测目标：无特定检测目标，主要用于图像转换任务。
• 数据集内容：
  • 总共37500对图像，每对包含一张可见光图像和一张近红外图像。
• 标签类型：无标签，因为这是一个无监督学习任务。
• 数据增广：数据集未做数据增广，用户可以根据需要自行进行数据增广。
• 无需预处理：数据集已经过处理，可以直接用于训练，无需额外的数据预处理步骤。

示例代码

以下是一些常用脚本的示例代码，包括训练GAN模型、评估模型性能、可视化结果以及数据增强。

脚本1: 训练GAN模型

1# train_gan.py
2import os
3import torch
4from torchvision import transforms, datasets
5from torch.utils.data import DataLoader
6from models import Generator, Discriminator
7from trainers import Trainer
8
9def main():
10    # 数据集路径
11    data_dir = 'path/to/visible_infrared_dataset'
12    
13    # 数据加载器
14    transform = transforms.Compose([
15        transforms.Resize((256, 256)),
16        transforms.ToTensor(),
17        transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
18    ])
19    
20    dataset = datasets.ImageFolder(data_dir, transform=transform)
21    dataloader = DataLoader(dataset, batch_size=8, shuffle=True, num_workers=4)
22    
23    # 定义生成器和判别器
24    generator = Generator()
25    discriminator = Discriminator()
26    
27    # 定义优化器
28    g_optimizer = torch.optim.Adam(generator.parameters(), lr=0.0002, betas=(0.5, 0.999))
29    d_optimizer = torch.optim.Adam(discriminator.parameters(), lr=0.0002, betas=(0.5, 0.999))
30    
31    # 训练器
32    trainer = Trainer(generator, discriminator, g_optimizer, d_optimizer, dataloader)
33    
34    # 开始训练
35    trainer.train(epochs=100)
36
37if __name__ == "__main__":
38    main()

脚本2: 评估GAN模型

1# evaluate_gan.py
2import os
3import torch
4from torchvision import transforms
5from models import Generator
6from utils import load_checkpoint
7
8def main():
9    # 加载模型
10    generator = Generator()
11    checkpoint_path = 'path/to/best_generator.pth'
12    load_checkpoint(checkpoint_path, generator)
13    
14    # 数据转换
15    transform = transforms.Compose([
16        transforms.Resize((256, 256)),
17        transforms.ToTensor(),
18        transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
19    ])
20    
21    # 读取测试图像
22    test_image_path = 'path/to/test_visible_image.jpg'
23    test_image = Image.open(test_image_path).convert('RGB')
24    test_image = transform(test_image).unsqueeze(0)
25    
26    # 生成红外图像
27    with torch.no_grad():
28        generated_image = generator(test_image)
29    
30    # 反归一化
31    generated_image = (generated_image + 1) / 2.0
32    
33    # 保存生成的图像
34    save_image(generated_image, 'path/to/generated_infrared_image.jpg')
35
36if __name__ == "__main__":
37    main()

脚本3: 可视化结果

1# visualize_results.py
2import os
3import matplotlib.pyplot as plt
4import numpy as np
5from PIL import Image
6
7def show_images(visible_image, infrared_image, generated_image):
8    fig, axes = plt.subplots(1, 3, figsize=(15, 5))
9    axes[0].imshow(np.array(visible_image))
10    axes[0].set_title('Visible Image')
11    axes[0].axis('off')
12    
13    axes[1].imshow(np.array(infrared_image), cmap='gray')
14    axes[1].set_title('Infrared Image')
15    axes[1].axis('off')
16    
17    axes[2].imshow(np.array(generated_image), cmap='gray')
18    axes[2].set_title('Generated Infrared Image')
19    axes[2].axis('off')
20    
21    plt.show()
22
23def main():
24    visible_image_path = 'path/to/visible_image.jpg'
25    infrared_image_path = 'path/to/infrared_image.jpg'
26    generated_image_path = 'path/to/generated_infrared_image.jpg'
27    
28    visible_image = Image.open(visible_image_path).convert('RGB')
29    infrared_image = Image.open(infrared_image_path).convert('L')
30    generated_image = Image.open(generated_image_path).convert('L')
31    
32    show_images(visible_image, infrared_image, generated_image)
33
34if __name__ == "__main__":
35    main()

脚本4: 数据增强

1# data_augmentation.py
2import os
3import cv2
4import numpy as np
5import albumentations as A
6from PIL import Image
7
8def augment_data(image_pair):
9    transform = A.Compose([
10        A.RandomRotate90(p=0.5),
11        A.HorizontalFlip(p=0.5),
12        A.VerticalFlip(p=0.5),
13        A.RandomBrightnessContrast(p=0.2),
14        A.HueSaturationValue(p=0.2)
15    ])
16    
17    augmented = transform(image=image_pair[0], image0=image_pair[1])
18    augmented_visible = augmented['image']
19    augmented_infrared = augmented['image0']
20    
21    return augmented_visible, augmented_infrared
22
23def main():
24    visible_image_path = 'path/to/visible_image.jpg'
25    infrared_image_path = 'path/to/infrared_image.jpg'
26    
27    visible_image = cv2.imread(visible_image_path)
28    infrared_image = cv2.imread(infrared_image_path, cv2.IMREAD_GRAYSCALE)
29    
30    augmented_visible, augmented_infrared = augment_data((visible_image, infrared_image))
31    
32    # 保存增强后的图像
33    cv2.imwrite('path/to/augmented_visible_image.jpg', augmented_visible)
34    cv2.imwrite('path/to/augmented_infrared_image.jpg', augmented_infrared)
35
36if __name__ == "__main__":
37    main()

项目介绍

项目名称

基于GAN的可见光-红外遥感图像转换系统

项目描述

该项目旨在开发一个基于生成对抗网络（GAN）的图像转换系统，能够将可见光遥感图像转换为对应的近红外图像，或反之。通过使用上述数据集，我们将训练一个高效的深度学习模型，实现在遥感领域的图像转换任务。项目的主要目标是提高遥感图像分析的效率和准确性，同时提供强大的图像处理能力。

项目目标

• 风格迁移：实现从可见光到近红外图像的风格迁移。
• 图像融合：结合可见光和红外图像的优点，生成复合图像。
• 图像生成：基于可见光图像生成相应的红外图像，或者基于红外图像生成可见光图像。
• 鲁棒性：在不同地形和环境条件下保持良好的转换效果。
• 易用性：提供易于部署和使用的接口，方便集成到现有的遥感系统中。

项目结构

1visible_infrared_conversion_project/
2├── data/
3│   ├── visible_infrared_dataset/
4│   │   ├── train/
5│   │   ├── val/
6│   │   ├── test/
7│   │   ├── scripts/
8│   │   ├── config/
9│   │   ├── requirements.txt
10│   │   └── README.md
11├── models/
12│   ├── generator.py  # 生成器模型
13│   ├── discriminator.py  # 判别器模型
14├── trainers/
15│   ├── trainer.py  # 训练器
16├── utils/
17│   ├── utils.py  # 工具函数
18├── scripts/
19│   ├── train_gan.py
20│   ├── evaluate_gan.py
21│   ├── visualize_results.py
22│   ├── data_augmentation.py
23├── notebooks/
24│   ├── data_exploration.ipynb  # 数据探索笔记本
25│   ├── model_training.ipynb  # 模型训练笔记本
26│   ├── model_evaluation.ipynb  # 模型评估笔记本
27├── requirements.txt  # 依赖库
28└── README.md  # 项目说明文件

项目流程

1. 数据准备：

   • 下载并解压数据集。
   • 确认数据集已划分为训练集、验证集和测试集。

2. 数据探索：

   • 使用data_exploration.ipynb笔记本探索数据集，了解数据分布和质量。

3. 数据增强：

   • 使用data_augmentation.py脚本对数据进行增强，增加数据多样性。

4. 模型训练：

   • 使用train_gan.py脚本训练GAN模型。
   • 根据需要调整超参数和模型配置。

5. 模型评估：

   • 使用evaluate_gan.py脚本评估模型性能。
   • 生成可视化结果，比较原始图像和生成图像。

6. 推理和应用：

   • 将模型集成到遥感系统或其他应用中，实现图像转换功能。

7. 结果可视化：

   • 使用visualize_results.py脚本可视化转换结果。

改进方向

如果您已经使用上述方法对该数据集进行了训练，并且认为还有改进空间，以下是一些可能的改进方向：

1. 数据增强：

   • 进一步增加数据增强策略，例如旋转、翻转、缩放、颜色抖动等，以提高模型的泛化能力。
   • 使用混合增强技术，如MixUp、CutMix等，以增加数据多样性。

2. 模型优化：

   • 调整模型超参数，例如学习率、批量大小、优化器等，以找到最佳配置。
   • 尝试使用不同的生成器和判别器架构，例如U-Net、ResNet等，以提高图像转换的质量。
   • 引入注意力机制，如SENet、CBAM等，以增强模型对关键区域的关注。

3. 损失函数：

   • 尝试使用不同的损失函数，例如L1 Loss、L2 Loss、Perceptual Loss等，以改善图像转换的效果。
   • 结合多种损失函数，例如内容损失和对抗损失的组合，以平衡不同类型的任务。

4. 后处理：

   • 使用图像后处理技术，如去噪、锐化等，以提高生成图像的质量。

5. 迁移学习：

   • 使用预训练模型进行微调，利用大规模数据集（如ImageNet）上的预训练权重，加快收敛速度并提高性能。

6. 集成学习：

   • 使用多个模型进行集成学习，通过投票或加权平均的方式提高最终的图像转换效果。