HybridSN高光谱图像分类：3-D–2-D CNN特征层次结构

前言

HybridSN——探索用于高光谱图像分类的3-D–2-D CNN特征层次结构
相关论文：HybridSN: Exploring 3-D–2-D CNN Feature Hierarchy for Hyperspectral Image Classification（Swalpa Kumar Roy, Student Member, IEEE, Gopal Krishna, Shiv Ram Dubey , Member, IEEE,and Bidyut B. Chaudhuri, Fellow, IEEE）

高光谱图像（HSI：Hyperspectral image）分类在遥感图像分析中有着广泛的应用，而卷积神经网络(CNN)是最常用的基于深度学习的视觉数据处理方法之一。大多方法基于2-D CNN。然而HSI的分类性能高度依赖于空间和光谱信息，但由于增加了计算的复杂性，很少有方法使用3-d-cnn。而上述论文提供了一种混合光谱CNN （hybrid spectral CNN）——HybridSN。

HybridSN是一个频谱空间的3-D-CNN，然后是空间的2-D-CNN。3-D-CNN促进了从光谱波段堆栈的联合空间-光谱特征表示。在3-D-CNN之上的2-D-CNN进一步学习更抽象的空间表示。此外，与单独使用3-D-CNN相比，混合cnn的使用降低了模型的复杂性。

实验步骤

首先取得数据，并引入基本函数库。

! wget http://www.ehu.eus/ccwintco/uploads/6/67/Indian_pines_corrected.mat
! wget http://www.ehu.eus/ccwintco/uploads/c/c4/Indian_pines_gt.mat
! pip install spectral

导入相关包

import numpy as np
import matplotlib.pyplot as plt
import scipy.io as sio
from sklearn.decomposition import PCA
from sklearn.model_selection import train_test_split
from sklearn.metrics import confusion_matrix, accuracy_score, classification_report, cohen_kappa_score
import spectral
import torch
import torchvision
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim

1. 创建模型

(1)模型网络结构

如下图所示：

三维卷积部分：

• conv1：（1, 30, 25, 25）， 8个 7x3x3 的卷积核 ==>（8, 24, 23, 23）
• conv2：（8, 24, 23, 23）， 16个 5x3x3 的卷积核 ==>（16, 20, 21, 21）
• conv3：（16, 20, 21, 21），32个 3x3x3 的卷积核 ==>（32, 18, 19, 19）

接下来要进行二维卷积，因此把前面的 32*18 reshape 一下，得到 （576, 19, 19）

二维卷积：（576, 19, 19） 64个 3x3 的卷积核，得到 （64, 17, 17）

接下来是一个 flatten 操作，变为 18496 维的向量，

接下来依次为256，128节点的全连接层，都使用比例为0.4的 Dropout，

最后输出为 16 个节点，是最终的分类类别数。

(2)代码

下面是 HybridSN 类的代码：（torch.nn查漏补缺直通车）

class_num = 16

class HybridSN(nn.Module):
  def __init__(self):
    super(HybridSN, self).__init__()

    self.conv_3d = nn.Sequential(
        nn.Conv3d(1, 8, (7, 3, 3)),
        nn.LeakyReLU(0.2, inplace=True),
        nn.Conv3d(8, 16, (5, 3, 3)),
        nn.LeakyReLU(0.2, inplace=True),
        nn.Conv3d(16, 32, (3, 3, 3)),
        nn.LeakyReLU(0.2, inplace=True),
    )

    self.conv_2d = nn.Sequential(
        nn.Conv2d(576, 64, (3, 3)),
        nn.LeakyReLU(0.2, inplace=True)
    )

    self.linear = nn.Sequential(
        nn.Linear(18496, 256),
        nn.LeakyReLU(0.2, inplace=True),
        nn.Dropout(0.4),
        nn.Linear(256, 128),
        nn.LeakyReLU(0.2, inplace=True),
        nn.Dropout(0.4),
        nn.Linear(128, class_num),
        nn.LogSoftmax(dim=1)
    )

  def forward(self, x):
    x = self.conv_3d(x)
    x = x.view(-1, x.shape[1] * x.shape[2], x.shape[3], x.shape[4])
    x = self.conv_2d(x)
    x = x.view(x.size(0), -1)
    x = self.linear(x)
    return x

(3)测试

#测试网络结构是否通
def test_net():
  # 随机输入
  x = torch.randn(1, 1, 30, 25, 25)
  net = HybridSN()
  y = net(x)
  print(y.shape)

test_net()

2. 创建数据集

首先对高光谱数据实施PCA降维；然后创建 keras 方便处理的数据格式；然后随机抽取 10% 数据做为训练集，剩余的做为测试集。

首先定义基本函数：

# 对高光谱数据 X 应用 PCA 变换
def applyPCA(X, numCo