阅读笔记：学习带有标签的结构化推理网络（Learning Structured Inference Neural Networks with Label Relations）

Learning Structured Inference Neural Networks with Label Relations

主要内容：

场景的图像具有不同的对象和丰富的属性，可以进行不同层次的视觉分类。自然图像可以使用细粒度标签(描述主要组件)、粗粒度标签(描述高级抽象)或一组显示属性的标签来分配。这种在不同概念层上的分类可以用包含标签信息的标签图来建模。利用这一丰富的信息和一个先进的深度学习框架，并提出了一个通用的结构化模型，利用不同的标签关系来提高图像分类性能。

模型结构

方法：

利用标签关系来改进对分层视觉概念的推断。
大致思路：输入图片——CNN提取特征作为每层的输入特征——概念层从细粒度层堆叠到较粗粒度层（标签关系被定义为连续层之间的关系，并形成一个分层的图形），层间关系和层内关系都由RNN来捕捉

具体细节：

（1）第一层的输入$x_t^i$：CNN提取图片特征$I^i$ 并将图片变为4096维的特征向量；

$$x_t^i=W_t\cdot CNN(I^i)+b_x{,}_t$$

（2）自顶向下和自底向上的推理：
为了生成具体标签的概率在$x_t^i$上应用了一个简单的激活函数，将其变为$a_t^i$，那么信息传递过程可以表示为：

$$a_t^i=V_{t-1}{,}_t\cdot a_{t-1}^i+H_t\cdot x_t^i+b_a{,}_t$$

其中$V_{t-1,t}$是自顶向下的层间参数，$H_t$表示层内标签关系。与标准的RNN不同，标准RNN在每一步重复学习V和H,而模型中的$V_{t-1}$和$H_t$是每一时间步的V和H。
为了学习到这两个参数加入损失函数：

$$\boxed{\sum _{i=1}^N\sum _{t=1}^T\sum _{y=1}^{n_t}(1(y_t^i=y)\cdot log(\acute{o})(a_t^i)+1(y_t^i̸=y)\cdot log(1-\acute{o}((a_t^i))}$$

（3）构建BINN：

$${\overrightarrow{a}}_t^i={\overrightarrow{V}}_{t-1,t}\cdot {\overrightarrow{a}}_{t-1}^i+{\overrightarrow{H}}_t\cdot x_t^i+{\overrightarrow{b}}_t$$
$$\overleftarrow{a_t^i}={\overleftarrow{V}}_{t-1,t}\cdot {\overleftarrow{a}}_{t-1}^i+{\overleftarrow{H}}_t\cdot x_t^i+{\overleftarrow{b}}_t$$
$$a_t^i={\overrightarrow{U}}_t\cdot {\overrightarrow{a}}_t^i+{\overleftarrow{U}}_t\cdot {\overleftarrow{a}}_t^i+b_{a,t}$$
（4）为了避免参数太多，构建SINN：利用正相关和负相关的结构化标签关系作为先验知识，对模型进行了改进，如果两者之间没有语义关系将其设置为0
构建规则如下：

$${\overrightarrow{a}}_t^i=\gamma ({\overrightarrow{V^{+}}}_{t-1,t}\cdot {\overrightarrow{a}}_{t-1}^i)+\gamma ({\overrightarrow{H^{+}}}_t\cdot x_t^i)-\gamma ({\overrightarrow{V^{-}}}_{t-1,t}\cdot {\overrightarrow{a}}_{t-1}^i)-\gamma ({\overrightarrow{H^{-}}}_t\cdot x_t^i)+{\overrightarrow{b}}_t$$
$${\overleftarrow{a}}_t^i=\gamma ({\overleftarrow{V^{+}}}_{t-1,t}\cdot {\overleftarrow{a}}_{t-1}^i)+\gamma ({\overleftarrow{H^{+}}}_t\cdot x_t^i)-\gamma ({\overleftarrow{V^{-}}}_{t-1,t}\cdot {\overleftarrow{a}}_{t-1}^i)-\gamma ({\overleftarrow{H^{-}}}_t\cdot x_t^i)+{\overleftarrow{b}}_t$$
$$a_t^i={\overrightarrow{U}}_t\cdot {\overrightarrow{a}}_t^i+{\overleftarrow{U}}_t\cdot {\overleftarrow{a}}_t^i+b_{a,t}$$
（5）用部分观察预测可以改善另一概念层的结果：比如知道户外人造场地再预测棒球拍的概率就会更大一点。将预测标签转化为激活概率去改善目标概念层：

$$g(y)=\{log(\frac{y}{1-(y+\epsilon )},ify=0;log(\frac{y}{1-(y-\epsilon )}ify=1$$
论文下载链接：https://arxiv.org/abs/1511.05616