航片转GIS数据自动化管线

近年来，计算机视觉领域的进步已显著改善了物体检测和分割任务。一种流行的方法是 YOLO（You Only Look Once）系列模型。YOLOv8 是 YOLO 架构的演进，兼具准确性和效率，是各种应用的绝佳选择，包括分割卫星航拍图像中的建筑物。

在这篇博文中，我们将引导你完成实施 YOLOv8 对卫星航拍图像进行图像分割的过程，使用 Roboflow 平台的标注数据训练模型，最后将结果转换为shapefle——这是一项提供基于位置信息的新任务。

NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割 

1、了解 YOLOv8 架构

YOLOv8 以其前辈为基础，专注于实现准确性和速度之间的平衡。该架构将图像划分为网格，并为每个单元分配检测和分类其边界内物体的责任。这种方法允许在一次传递中实时检测和分割物体。

对于图像分割，我们将调整 YOLOv8，将建筑物分割视为物体检测任务。网格中的每个单元将负责检测建筑物的存在，而生成的边界框将定义建筑物的大致位置。

2、使用 Roboflow 标注数据

要训练 YOLOv8 进行建筑物分割，我们需要标记数据。 Roboflow 提供了一个用户友好的平台来标注图像并生成所需的注释。 标注航空卫星图像涉及在建筑物周围绘制边界框。 此外，每个边界框都需要用建筑物的唯一类别 ID 标记。

• 数据收集：收集包含各种建筑物的多样化航空卫星图像数据集。 此数据集应代表你打算在其中部署模型的真实场景。
• 上传到 Roboflow：将你的数据集导入 Roboflow 平台。
• 标注：使用 Roboflow 的标注工具在图像中的每个建筑物周围绘制边界框。 为边界框分配类别 ID，表明它们代表建筑物。
• 导出标注：标注完成后，以 YOLO 格式导出标注。该格式包括每个图像的文本文件，其中每行对应一个边界框及其类别 ID。

3、训练 YOLOv8

有了标注数据后，就可以训练 YOLOv8 模型了。训练过程包括使用标注数据微调网络权重。

• 数据预处理：将 YOLO 标注转换为适合训练的格式。将数据集组织成训练集和验证集。
• 配置设置：根据您的问题配置 YOLOv8 架构。指定类数（建筑物为 1）和其他相关超参数。
• 模型训练：使用 PyTorch 或 TensorFlow 等深度学习框架训练 YOLOv8 模型。实施必要的数据增强技术以提高模型的泛化能力。
• 模型评估：监控模型在验证集上的表现。如有必要，调整超参数。

4、将结果转换为 Shape 文件

将 YOLOv8 分割结果转换为 Shape 文件引入了地理空间组件，使你可以将建筑物信息叠加在地图上并执行基于位置的分析。

• 后处理：获得 YOLOv8 的分割结果后，提取检测到的建筑物的边界框坐标。
• 地理参考：根据原始卫星图像的元数据为每个边界框分配地理空间坐标。
• 创建 Shape 文件：使用 geopandas 等库，将地理参考边界框坐标转换为 Shape 文件。每个 Shape 文件将代表一栋建筑物的边界。
• 可视化：在 GIS 软件中打开 Shape 文件，在地图上可视化分割的建筑物。此步骤使您能够验证分割结果的准确性并执行地理空间分析。

5、代码演练

整个过程都是使用 Google Colaboratory 完成的。

开始之前：

让我们确保我们可以访问 GPU。我们可以使用 nvidia-smi 命令来做到这一点。如果出现任何问题，请导航至 Edit -> Notebook settings -> Hardware accelerator，将其设置为 GPU，然后单击保存。

下面列出了 Yolov8 模型可以做的事情，

yolo task=detect    mode=train    model=yolov8n.yaml      args...
          classify       predict        yolov8n-cls.yaml  args...
          segment        val            yolov8n-seg.yaml  args...
                         export         yolov8n.pt        format=onnx  args...

使用以下命令确保 GPU 已初始化：

!nvidia-smi

输入图像数据如下：

获取权重的自定义训练，

!yolo task=segment mode=train model=yolov8s-seg.pt data=data.yaml epochs=10 imgsz=640 save=true

结果存储在特定目录 runs/segment/train 中。并从该目录中获取预训练权重。

设置 data.yaml 文件，它看起来如下图所示：

验证自定义模型：

!yolo task=segment mode=val model=runs/segment/train/weights/best.pt data=data.yaml

使用自定义模型进行推理：

!yolo task=segment mode=predict model=runs/segment/train/weights/best.pt conf=0.25 source=test/images save=true

使用训练模型预测自定义输入：

model = YOLO(f'runs/segment/train/weights/best.pt')
results = model.predict(source='Coimbatore_Pilot.JPG', conf=0.25)

根据输入图像中分割的建筑物生成 Shaping 文件：

import geopandas as gpd
from shapely.geometry import Polygon

# Create an empty list to store the geometries and class labels
geometries = []
class_labels = []
classNames = ['building']

for r in results5:
    boxes = r.boxes
    for box in boxes:
        x1, y1, x2, y2 = box.xyxy[0]
        x1, y1, x2, y2 = int(x1), int(y1), int(x2), int(y2)
        polygon = Polygon([(x1, y1), (x1, y2), (x2, y2), (x2, y1)])
        geometries.append(polygon)

        # Assuming you have access to the class_label for each box (adjust accordingly)
        class_label = classNames[int(box.cls[0])]
        class_labels.append(class_label)

# Create a GeoDataFrame from the list of geometries and class labels
gdf = gpd.GeoDataFrame({'geometry': geometries, 'class_label': class_labels})

# You can now save the GeoDataFrame to a shapefile
output_shapefile = 'Drone_Builiding_Shape_Files/sample5/output_shapefile_boxes5.shp'
gdf.to_file(output_shapefile, driver='ESRI Shapefile')

可视化shapefile：

import matplotlib.pyplot as plt
import geopandas as gpd

# Read the shapefile using geopandas
shapefile_path = '/content/drive/MyDrive/Projects/Building_Detection.v1i.yolov8/Drone_Builiding_Shape_Files//sample5/output_shapefile_boxes5.shp'
gdf = gpd.read_file(shapefile_path)


# Plot the shapefile using matplotlib
gdf.plot()
plt.show()

6、结束语

实施 YOLOv8 来分割航空卫星图像中的建筑物，使用 Roboflow 的标注数据对其进行训练，并将结果转换为形状文件，这是一个将计算机视觉与地理空间分析联系起来的综合过程。这种集成可以实现准确的建筑物分割，并在基于位置的研究中利用分割信息。随着技术的不断发展，这种跨学科方法将在解决复杂的现实问题方面变得越来越有价值。

---

原文链接：航片转GIS数据自动化 - BimAnt