Unsupervised Category Modeling,Recognition and Segmentation in Images论文笔记

2020.3.9
导师让看这篇又臭又长的文章，网上找了半天没资源，气死了，那我自己稍微写一点吧，给以后的兄弟姐妹们做点贡献，水平有限，肯定全是错误，主要写给自己看的。

首先这个文章要解决的对象是未分类的数据集，他要在无监督的情况下识别多尺度区域里的特定类型案例的各种特性；然后建立起一个模型，这个模型要根据这前提取出的各种属性来定义；然后就用这个模型对于属于此类得新图片中的物体进行识别分割。在这种情况下，假设我们之前所述的都成立，那每一张图片就是一棵树，这棵树拥有多尺度的图像分割。树根据这样的设定来找到最大匹配的子树，这些子树是来自目标类的实例（自己都不知道自己在说啥这句话）。被提取出来的子树被集合成为一个数集合，这个数集合代表着规范类别模型。对于一个我们已经认知的类，来检测识别分割其中的物体等同于利用分割树去对于新图片去匹配类模型。当一些训练案例在此模型中用于非监督学习时，其效果还是不错的，具有鲁棒性（抗错）和很高的准确度。

模型包括的一些特殊性质：
几何特性：例如面试和形状
光度特性：例如与周围环境的灰度对比
拓扑特性：例如与布局以及分割的递归嵌入

作者说他们有两个关键的思路
第一是用区域作为特征来获取产生类别模型，因为这些区域本是含有丰富信息的，他们可以在小的光亮改变或者角度改变保持稳定，对于普通（例如加性噪声）噪声来说可以适应，具有抗噪性，同时促进生成目标检测和分割，并且他们本来就具有对于物体部分的递归性质。第二，我们探索这些在物体中无处不在的结构性质，具体说来比如空间布局和各部分之间的递归包容。这样就展示了一个类别实例，它由有限深度的递归区域组成。深度是有限的是因为区域大小的上限被物体的尺寸大小限制上界，假如你给定一张特定大小的图片，那就固定了上限，下界由像素固定。这样一个有限制大小的层级模型通过学习类的具体每一部分，以展现相对于整体类内部的小变化来促使学习认知一整个物体。

主要方法：
1，分割图像来识别所有的均匀度下的所有均匀强度区域
2，找出频繁出现的子图像，根据子图像来定义类别
3，构建一个类别层次模型
4，根据这个类别模型来识别以前训练集中未见过的图像里的子图像，并将他们归类。

对比与先前四步骤的一些差别
1，特征提取：重点放在通过低层级的分割来获得区域特征。
区域特征比特征点、边缘特征具有更好的一些性质，它更有优势。
2，实现对象展现：谈到一个多层级模型，多层级模型来自于多层级的特征聚集，多层级聚集的实现可以来自于小组子集特征中的独立数据或者是一个简单的包含关系，大特征聚集和其子聚集（大区域和嵌入的子区域）。作者就是想所他们的层级模型和以往的不同，他们的模型给与了一个先验的未知的层级深度，任意数目节点构成任意空间配置，一切都是从训练数据图片中学习得来的。之前的一些层级算法都是标准统一的场景下，不是我们实际生活中遇到的（比如遮挡，照明亮度变化以及角度的转变）。这个模型在案例分割树种提供的是多对多的匹配机制，这样来认知树联合成为一个规范模型。
3，训练：比较了全监督，最近的半监督，以及自己提出的无监督学习的区别，说明自己的优势明显，不需要大范围训练，也不需要特定背景分类，不需要去准备数据。
4，物体识别：以前的做法不够精确，并没有确定图像的位置和一些细节，我们的做法是去描述所有案例的边界来对图像进行分类识别，同时进行目标的检测，识别，分割提取。

下面是其所用方法的详细overview
从检测一张图片开始是本模型中最基本的特征作用，一张图片是由由一颗分割树代表，这个分个树它具有低层级，空间的，拓扑结构的这样的图片结构，这种结构处于一个多层级的方式下工作。高层的节点对应着更大更明显的特征，小子子节点则代表细节。每一个节点都几何、光学的一些性质，这也使得树结构相互包含着图像分割中的这些性质，因此图像分割树可以很好地去表示图片的信息。
每一个子图像都连接着一个或者更多的子树在分割树种，所以相同性质的子树会频繁的出现，这种同类的子树将会被匹配算法找到，树结构会定义这种相似性质。子树结构被解释为目标类（一个子树代表一个类），类别之间的差异取决于选择的相似度级别。通过一个树联合可以把子树们全部联系在一起，他们之间有着共同性质的归为一类，代表着一个学习类的模型。当一个新图片出现，就可以用这样的模型来识别了。
由于一些措施，作者实验的结果保持良好特性不改变。他们最初的实验版本是输入一些图片，这些图片中有些包含着汽车，有些没有，或者有多于一辆的汽车。汽车可能是不同的大小，有些可能被遮挡。在后面一幅图中，黑色区域代表最大匹配的子图像。后一幅图中我们用子树表示子图像，用树联合代表一个模型去学习这样的相似子树，相关性会被标注成灰色，后面可以用这样的方式来识别具有相似性的图片，那就是这个类别。

用图像分割算法来把一张图片分割成同类区域，根据的是某种没有认知的形状，大小，灰度的比对，以及北京拓扑特性来确定。当区域内部变化程度小于边界变化时，除非在绝对程度变化发生时，否则我们把这样的区域视为同类别。当对比参数上升，一些小的对比度的区域就会合并。分割树由分割区域产生形成一个树结构，根节点表示一整个图片，离根节点近的表示大的区域，剩下的小节点表示嵌入的小细节。

从这里开始真正深入进去看看算法的一些详细的描述
任何一个节点都会用矢量表示，一些和区域有关的性质体现在矢量中。有个特定的表示矢量V。矢量V规定了v的父节点，这样层层关系嵌套，最终关联到整个图片（根节点）。

我们可以用w,v,u三个参数来表示一个三层的父子节点结构，可以用v 的表达式去描述区域的一些性质，标准化灰度对比参数gv，可以有G的表达式得到，G表示区域的强度。后面还一系列参数，有了这些操作后可以很轻易的去调整来适应图片。

对用反复出现的图片编号去对比他们来找到相似性，定义一个阈值。先前的工作主要都利用他们的内部几何特性和外观来进行配对，我们用的方式是加入了区域间的相互包含的信息来判断，我们希望通过这样的方式提高鲁棒性和区域配准。当我们拿到两颗分割树，我们的匹配算法会去配对那些与相关区域性质匹配的节点，然后递归对其子节点也进行这样的操作。我们参考了一个很有名的框架来提高提取类算法更稳定有效性，我们的匹配算法清晰地表明确定的图片区域是容易变化的，因为一些细节上的改变，这样可能改变分割树的结构，所以需要去清晰解释这些不确定因素。