那些年我们一起犯二的青春--IGRSS--2015--1th

免责声明：本文仅代表个人观点，如有错误，请读者自己鉴别；如果本文不小心含有别人的原创内容，请联系我删除；本人心血制作，若转载请注明出处

SHARED FEATURE REPRESENTATIONS OF LIDAR AND OPTICAL IMAGES:

TRADING SPARSITY FOR SEMANTIC DISCRIMINATION

摘要

1、本文传递了超高分辨图像LiDAR（激光雷达）和光学图像的互补信息，实现这个目标通过无监督空间谱特征提取

2、在特征表示领域，我们通过CNN实现联合特征表示lifetime  sparsity（激活时间稀疏性），

      population sparsity（样本分布稀疏性）

3、我们分别导出单独和联合特征表示，分析稀疏性能和特性

4、结果证明RGB+LiDAR表示不再稀疏，推导出的偏置方程融合了边沿和高度产生了色彩边沿滤波器

5、联合特征表示如果使用聚类和拓扑数据可视化将更有判别性

引言

1、从直觉上和物理学上所有的场景目标在不同的语义类：色彩对应海拔，负的反射对应返回强度，但是是否有基础

     的论断对于统计领域（现在的机器学习都是基于统计学的机器学习）

2、RGB 和 LiDAR 是多维的，它们含有空间结构，揭示了独特的空间结构特征联系。

3、我们分析空间光谱特征表示，通过CNN，使用RGB，LiDAR和RGB+LiDAR共享表示，这些特征表示将会考虑到 稀疏性，紧凑性，拓扑可视化和区别能力。

4、RGB+LiDAR的结合导致了稠密和不紧凑表示，因此更有判别性：这些特征的正交性在非线性统计领域揭示了联合 的作用

5、超分辨（VHR）图像和多光谱图像给自动分析带来了巨大困难，因为高光谱和光谱过剩，和潜在的非线性特性

6、可以考虑用稀疏去做，学习图像的空间光谱特征确实有效，可以考虑用无监督学习

7、字典学习在稀疏学习中很重要，用来做图像分类和目标检测：有判别性的字典已经被提出用来图像分类，稀疏词 袋编码对于自动目标检测，空中图像的分类使用无监督稀疏特征

8、所有的方法描述输入图像以稀疏表示时，没有考虑CNN网络的非线性特征

9、本文介绍了通过CNNs实现无监督学习，学习RGB+LiDAR联合表示空间的统计特性

10、section 2：无监督，稀疏表示

        section 3：描述数据

        section 4：呈现和讨论主要发现

        section 5 ：总结

通过CNN的无监督特征学习：

1、CNN，   1）卷积核，  2）非线性变换，  3）池化

      理论基础：1）卷积核提供一个简单的局部特征提取；  

                        2）非线性变换，允许对数据进行非线性表示

                        3）池化减少计算量，提供局部变换不变性

2、我们训练CNN去提取稀疏表示，OMP-k（正交投影）通过以无监督的方式训练网络得到稀疏特征表示

3、OMP-k迭代选取输出来训练滤波器，使重构误差最小，这个方法实现了结构系数，用SAE训练卷积核，减小了激 活时间稀疏性

4、本文使用EPLS算法，迭代建立稀疏输出和优化这个目标去学习每一层的滤波器，稀疏目标定义为：每个样本都有 一个热码，确保所有输出的平均激活度，使用这种方法，我们的到了一种表示方法，既考虑到了激活时间稀疏，也 考虑到了样本稀疏，CNN用EPLS训练计算高效，也可以得到稀疏表示，我们用这种方法分析了隐藏单元和共享表 示通过CNN从数据上学习，见图1.共享RGB+LiDAR表示由空间和光谱非线性结合（RGB+LiDAR特征）

     

数据收集：

实验结果：

在本节，我们研究了通过CNN训练得到的内容信息，通过EPLS算法来确保稀疏性，三个场景：RGB，LiDAR和RGB+LiDAR。做了下列分析：我们关注方法表示的紧凑性的激活时间稀疏性和样本分析稀疏性，我们可视化学习到的表示在拓扑空间，最后研究了当使用图像分割的时候，提取特征的判别性。

1、 实验步骤

      产生了大小为10*10的100,000张图片，其中30,000用来训练，在三种情况下，我们使用最多1000个隐藏单元来训练CNN，对于一些架构，我们尝试了几个对称感受野（大小分别为 3*3,5*5,7*7,10*10，），使用logistic非线性取EPLS的均值来训练网络和对比度归一化来训练网络，运用自然编码和极性分裂来导出稀疏特征。（什么鬼？）

2、 学习到的表示稀疏性

      在CNN在三种情况下训练完以后，我们研究了LS（激活时间稀疏性）和PS（样本分布稀疏性）。图3表示了得到的结果，可以看到，加上LiDAR和RGB，LS上升，RF（感受野）单独使用。LS低的时候，接近于目标的保持了相似的均值（所有输出）。学习的表示不再稀疏，揭示RGB和LiDAR带来正交信息（不稀疏的，肯定正交的特征多），而且它很难再得到紧凑的表示。相似性趋势从Nh（最大隐藏单元数）获得，对于较大的值，比如 >100,导致了较差的表示，相对的，当加上LiDAR和RGB时，无论RF和Nh多大，PS降低。样本结构系数性获得了一个较小的输出同时激活的集合。这些不会发生在RGB+LiDAR，因为这些特征传递了互补信息，因此大量的特征同时激活。

      

3、 学习到的表示的拓扑（表示不懂，拓扑结构，什么鬼！！！）

      图4表示了在RGB，LiDAR和RGB+LiDAR三种情况下，使用卷积网学习到的基。

      LS帮助系统学到一系列复杂的和丰富的基，从另一方面讲，学习到的LiDAR基是边沿识别器，与目标的高度变化 相关。结合了RGB+LiDAR，学习到的基继承了模型的共同特性，与海拔色彩探测器相似。

      

4、表示的判别性

      一个课选的方法是分析提取的特征和它们的互补信息用来聚类，我们跑了K-均值在前几个对于不同粒度我们提取 出的特征，图5（左）展现了当k=10的时候的分类效果，RGB在联合表示中占了很多簇，RGB+LiDAR展示了新的 语义簇的结合组，聚类解决方案的性能是一个较为争议的问题，许多县有的方法存在很多种评价体系。通用思想 是喜欢紧凑的和距离大的簇。图5右以K为变量，揭示了Davies-Bouldin and the Dunn’s validity indices，结果显 示了联合表示与RGB单独表示很相似。

        Davies-Bouldin指数，简称DBI。它的作用是评估K-means算法中k值的取值。

      Dunn’s validity indices 也是评估K均值算法中K值的取值

      

总结：

1、本文展现了高分辨LiDAR图像和光学图像的互补信息

2、我们分析了表达能力和使用当下的无监督方法从RGB，LiDAR，RGB+LiDAR提取的特征

3、使用CNN学习特征，并保持稀疏

4、算法的特点清楚显示了图像语义分割的有用性

5、在我们的实验，结合了RGB和LiDAR提升了特征表示性能，不再保持之前的稀疏特性，暗示RGB和LiDAR传递信 息的正交性和互补性

6、出了稀疏性，我们也对通过ISOMAP融合的拓扑空间保持兴趣（什么鬼？？？？？）

7、RGB+LiDAR导致了更好的语义表示，在色彩和海拔结合以得到更好的目标表示

8、得到的结合特征表示揭示了一种语义分割

9、信息的正交性不仅来自缺少稀疏方案，也与辨别性有关系，通过语义分割研究，表达性能良好，语义图出现

后记：这篇文章有太多我之前没有接触过的东西，很多地方真心没看懂，注解仅供参考