重磅开源人工智能纹理分割自动分割由参考纹理覆盖图像自监督学习

重磅开源人工智能纹理分割自动分割由参考纹理覆盖图像自监督学习（特约点评：人工智能纹理分割自动分割由参考纹理覆盖图像自监督学习对于纹理分割提供了新的思路，这个创新点趣说人工智能必须推荐。来自网友小星的推荐！同时由于某度审核人员的SB能力，大部分公式和算法都被省略。有意见大家一起bs某度连标点符号错误都要扣分，真笑死朕了。）

重磅开源人工智能纹理分割自动分割由参考纹理覆盖图像自监督学习摘要：我们介绍了一次性纹理分割：在给定一个参考纹理补丁的情况下分割包含多个纹理的输入图像的任务。此任务旨在将基于纹理的感知分组问题转变为客观基准。我们表明，从相对较少的自然纹理中为此任务生成大型合成数据集是直截了当的。特别地，该任务可以被铸造为自我监督的问题，从而减少了对传统分割任务所需的大量手动注释数据的需求。在本文中，我们介绍和研究了两个具体的数据集：一个密集的纹理拼贴（CollTex）和一个杂乱的纹理化Omniglot数据集。我们展示了对这些合成数据进行训练的基线模型能够推广到自然图像和视频而无需进一步微调，这表明学习的图像表示对于更高级别的视觉任务是有用的。

重磅开源人工智能纹理分割自动分割由参考纹理覆盖图像自监督学习简介：人类视觉系统对许多局部图像变换非常稳健。有证据表明，在中央凹区域之外，视觉系统将图像块表示为纹理[44,10]，其对于局部移位和变形是鲁棒的。这样的压缩可以是非常有用的，因为它总结了大多数不相关的精细尺度细节（例如，单个草叶）但保持粗略的低级语义概念（例如草）。这表明局部纹理特征可以形成重要的中级图像表示。

重磅开源人工智能纹理分割自动分割由参考纹理覆盖图像自监督学习贡献：为了学习这样的表示，我们建议一次性纹理分割的任务：给定包含多个纹理的图像以及参考纹理，任务是分割由参考纹理覆盖的输入图像的部分（参见图1）。由于这些部件的大小和形状可以变化很大，因此模型必须学习极其灵活和强大的纹理表示，以便精细地区分本地图像统计数据。这样的问题公式允许算法数据集生成，其反过来允许将感知纹理分组的潜在问题转变为监督学习任务。

我们的贡献如下：我们介绍并公开发布†两个基准数据集，用于一次性纹理分割以及以自我监督方式生成数据所需的代码（第3节）。我们为此任务引入并训练了强大的基线分割模型（第4,5和6.4节）。我们证明了一次性纹理分割需要计算高阶的局部图像统计。 （第6.2节）。我们证明了我们的模型所学习的纹理表示可以推广到自然图像，并且可以用来获得自然图像和视频的粗略语义分割，而无需额外的微调（第6.6和6.7节）。

重磅开源人工智能纹理分割自动分割由参考纹理覆盖图像自监督学习模型架构：我们分三步解决一次性纹理分割的任务。首先，我们计算输入图像和参考补丁的嵌入;第二，我们在嵌入空间中搜索参考纹理以产生粗略的分割掩模;最后，我们使用解码网络来产生输出分段。该架构总结在图2中。

编码网络，我们正在寻找的图像嵌入应该具有两个属性：（1）它们应该将相同纹理的不同实例映射到嵌入空间中的相同点，以及（2）它们应该是局部的，即对于每个空间位置仅编码这个位置附近的纹理。为了确保（1），我们在VGG特征[36]之上构建我们的编码网络，这已知是良好的纹理模型[11]。为了确保（2），编码网络的输出具有与输入相同的空间大小，其中每个空间位置处的特征向量可以被认为是该位置处的局部纹理的表示。

要计算图像（输入图像或参考图片）的嵌入，我们首先提取此图像的VGG要素（特别是图层conv1_1，conv2_1，conv3_1，conv4_1，conv5_1中的要素图）。接下来，从层conv5_1开始，我们重复使用由残差块，上采样（双线性插值）和相应分辨率的VGG特征的级联组成的计算单元，以最终获得与输入相同的空间分辨率的嵌入。特别地，我们使用层conv5_1作为残差块的输入，包括三个

具有3 3个内核的卷积层（前两个后面是ReLU非线性，而第三个是线性的），然后将剩余块的输出上采样一个因子2沿每个空间维度（双线性插值）。得到的张量具有与VGG层conv4_1相同的空间维度，我们将它连接到它。后，我们重复相同的计算系列（残差块，上采样，串联），直到我们得到一个张量与输入相同的空间分辨率，我们应用11卷积层来获得最终嵌入。编码网络的体系结构和特征映射的确切数量如图2B所示。

在编码空间中搜索，在对输入图像和参考块进行编码之后，我们独立地将每个空间位置处的特征向量归一化以使范数等于1，并且将两个嵌入在空间上相互卷积。这对应于在每个空间位置处计算它们之间的余弦距离（直到恒定因子）。与输入图像具有相同空间大小的结果特征映射显示具有与参考补丁相似的纹理的位置（参见图2中的绿色框）。然后由解码网络处理它以产生最终分段。

解码网络，解码网络具有与编码网络类似的架构（图2C）。主要区别在于，虽然剩余块的体系结构保持不变，但我们不仅连接了上采样层之后的VGG特征，还连接了上一步中获得的余弦距离的（下采样）映射（第4.2节）。 VGG功能，我们通过它们通过1 1卷积层将特征映射的数量减少到64，我们发现这已经足够了。在最终残留层之后，我们应用具有S形非线性的11卷积以产生单个分割图（256 256 1）。此映射中每个像素的值可以解释为此像素属于参考纹理的概率。

重磅开源人工智能纹理分割自动分割由参考纹理覆盖图像自监督学习讨论：我们介绍了一次性纹理分割的任务，我们认为这是基于纹理的感知分组在自我监督学习目标方面的强大形式化。它允许我们学习有用的低级和中级表示，我们发现这些表示可以推广到自然图像和视频。我们在两个数据集上研究了这个任务：（1）多个纹理的密集拼贴（CollTex）和（2）纹理化的杂乱Omniglot。我们引入了强大的基线模型来解决这些任务，并且即使对可能对人类具有挑战性的任务配置（例如图3中的32个字符和15个区域）也展示了竞争性能。

如第6.6节和第6.7节所述，我们的CollTex模型推广用于分割自然图像和视频中的对象，展示其形成有用图像表示的能力。尽管我们的模型的性能与当前最先进的模型不匹配，但它在没有对特定任务进行任何微调的情况下实现了竞争性分数，突出了其卓越的泛化属性。

我们相信这项工作不仅是自我监督和一次性学习的重要补充，而且还提供了纹理表示提供的泛化能力的新见解。因此，我们期望所提出的一次性纹理分割任务成为中级表示的重要学习目标。

重磅开源人工智能纹理分割自动分割由参考纹理覆盖图像自监督学习开源地址：github.com/ivust/one-shot-texture-segmentation