【论文笔记】Spectral-Spatial Exploration for HSIC via the Fusion of FCN

L. Zou, X. Zhu, C. Wu, Y. Liu and L. Qu, “Spectral–Spatial Exploration for Hyperspectral Image Classification via the Fusion of Fully Convolutional Networks,” in IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 13, pp. 659-674, 2020, doi: 10.1109/JSTARS.2020.2968179.
github：SS3FCN

1.贡献点

  ①设计了一种产生训练/验证/测试数据集的新方法，该方法可以避免信息泄露，也可以解决training/test partition不平衡的问题（？？？）
  ②设计了一个双分支FCN（SS3FCN），分别为3D FCN和1D FCN，并证明了HSI的光谱信息比空间信息更有价值（因为HSI空间分辨率较低）

2.论文细节

2.1 TRAINING-TEST SPLITS AND DATA ENHANCEMENT

  K折交叉验证和Monte Carlo交叉验证的区别
  本文采用K折交叉验证，而不是常用的Monte Carlo交叉验证。（Monte Carlo cross validation举例：进行十次实验，每次选取不同的N个训练样本，结果取平均值。注意这里的每次实验都用到了所有训练样本）（K折cross validation举例，见下图，将训练数据分为K份，每次实验选一份作为验证集，其余作为训练集。注意这里的每次实验只用到了一份训练样本，K折就要进行K次实验）

  产生训练/验证/测试数据集的方式：

1. 将HSI分为H * W * C的若干个blocks（对于SV，H=W=7，C=224）
2. 丢弃所有像素都是unlabeled类别的blocks，将所有像素都是一个类别的blocks作为test set-1，将剩下的blocks（也叫multiclass blocks）按列排序（根据它们在HSI中的顺序，这个是什么顺序呢？？）
3. 叫multiclass blocks分为K折，选择一份作为training set，一份作为validation set，其余K-2份作为test set-2
4. 将test set-1和test set-2合并成test set
   (K次实验，使得每一份都曾被作为训练数据)
   

  准备好train/val/test后，还要进行data aug：

1. 在每个block里用sliding window（D * D）确定最终的HSI patch（D * D * C）（对于SV，D=6）
2. 对HSI patch进行flip和rotate操作
   

  作者认为这种划分数据集的方式可以避免信息泄露（因为训练集和测试集之间没有overlap），同时缓解了训练/验证/测试集之间的不平衡问题。

2.2 PROPOSED SS3FCN FOR PIXELS-TO-PIXELS CLASSIFICATION

Take the Salinas Velley dataset as an example,there are 256 feature maps with the size of 6 × 6 × 3 from the 3-D branch and 256 features maps with the same size from the 1-D branch. Then, these features are concatenated together and forwarded to the final convolution layer.（输出为17个6 * 6 * 1的特征，然后取最大值得到分割结果，这样可以理解。然而本文输出为17个6 * 6 * 3的特征？？？）

3.实验

  四个数据集：SV（train/val/test: 3.76%，3.76%， 92.56%）、PU（train/val/test: 6.64%，6.64%，86.72%）、IP（train/val/test: 11.02%，11.02%，77.96%）、Houston（train/val/test: 18.60%，18.60%，62.80）
  Focal Loss理论及PyTorch实现
  使用facal loss和adam优化器，facal loss通过gamma系数减少了简单样本的loss，增加了难样本的loss。Adam优化器的参数：beta_1 = 0.9, beta_2 = 0.999, epsilon = 1× e−8.；LR：0.01，每35 epochs后×0.1；W=H=（SV 7，PU 11，IP 4，Houston 7）；D=（SV 6，PU 10，IP 3，Houston 6）
  对比算法：

• VHIS [30]:1-D network based on patch-based data split without training-test overlap.
• 3-D CNN [6]:based on the patch-based data split without training-test overlap.
• PCA/PCA-ON [35]: The data augmentation strategy including PCA-based offline setting and PCA online setting.（不懂😵）
• GAN/PCA-ON [35]: The data augmentation strategy including GAN-based offline setting and PCA online setting.（不懂😵）
• 3-D Branch
• 1-D Branch

  实验一：对比了不同算法的分类精度（CA、OA、AA）
  实验二：training loss和val loss曲线
  实验三：不同patch size的OA和AA曲线

  实验四：不同block size与OA、AA的关系

We suspect that, given smaller blocks, the network cannot fully exploit the spatial information.If we further increase the block size (larger than 7 × 7), in order to keep the ratio of training pixels unchanged (to make a fair comparison with other works), we have to increase the value of K and get less blocks input to the network. Given less training samples (patches), the performance of the network deteriorates.（也许block size过大，test set-1会减少，为了保持train/val/test的ratio，需要相应地减少train set，因此要增加K，而training patch减少了会导致精度降低，可能是这个意思吧）

  实验五：不同初始化方法对精度的影响（random，Glorot_uniform（Xavier uniform），He_normal ）

For the random strategy, we randomly initialize the convolution kernels. Glorot_uniform, also known as Xavier uniform, draws samples from a uniform distribution [46]. He_normal draws samples from a truncated normal distribution centered on 0 with stddev = sqrt(2/fan_in) where fan_in is the number of input units in the weight tensor [47].

  实验六：BN对精度的影响（下表中1_BN代表在Layer0后加BN层）

  实验七：网络深度对精度的影响

  实验八：不同训练样本量时的分类精度

4.单词（我认识你，永远记得你）

今日推荐——《天使爱美丽》（Le fabuleux destin d’Amélie Poulain）
2020-6-1 18:15:27
“如果注定孤独，那么我愿意去爱全世界。”
今天看完了Killing Eve的结局，虽然感觉不是很喜欢第三季，但看完了以后还是有touching和blue的感觉，就跟看到Otis和Mave没有在一起一样的感觉。