最新论文阅读（3）

Gated Feedback Refinement Network for Dense Image Labeling

- 2017CVPR  
- G-FRNet   
- 曼尼托巴大学【美】 

　　GFRNet进行粗略预测，然后在细化阶段高效地整合局部和全球上下文信息，逐步细化细节。我们引入了控制前进信息的门单元，以过滤掉歧义。
　　

---

AutoEncoder By Forest

- 
- EncoderForest(eForest)，这是第一个基于树集成的自编码器。   
- 周志华和他的学生冯霁    

　　提出了一种基于树的方法gcForest——“multi-Grained Cascade forest”，多粒度级联森林——通过一种全新的决策树集成方法，使用级联结构，让gcForest做表征学习。让森林能够利用树的决策路径所定义的等效类来进行后向重建，并在监督和无监督环境中展示了其使用情况。
　　编码对于森林来说很容易，因为单是叶节点信息就可以被视为一种编码方式，而节点的子集甚至分支路径都可能为编码提供更多信息。

---

Improving speech recognition by revising gated recurrent units

- 2017年9月   
- 提出新型的GRU，即M-reluGRU。通过修改门控循环单元改善语音识别
- 【意】；蒙特利尔【加】Yoshua Bengio

　　新型的GRU：1）移除重置门（reset gate）。我们发现移除重置门并不会影响系统的表现，因为我们观察到在更新门（update gate）和重置门发挥的作用上存在一定的冗余。2）用ReLU替代tanh。
　　这种修改后的架构可以将每 epoch 的训练时钟时间减少 30% 以上，同时提高了语音识别的精度。

　　一般的 GRU 架构定义如下：

　　移除重置门并且使用 ReLU 激活函数替代 tanh 后，我们可以得到新的公式：我们将这个架构称为 M-reluGRU。

---

A new kind of pooling layer for faster and sharper convergence

- 2017年9月   
- sort-pooling  
- Sahil Singla 在Medium 上发表的

　　更快更好收敛的新型池化层 sort_pool2d，表现优于最大池化层，同时解决了最大池化层无法使用来自多层激活函数信息的问题，以及反向传播只会提升最大池化的激活函数的问题。
　　按照递减的顺序将pooling_size中的4个值 与4个权重 [w1,w2,w3,w4] 进行点乘再求和，而不是选择最大的那个。对于BP过程，我们需要保存4个乘积。
用这种方式，网络依然能够学习对应于 [w1,w2,w3,w4] = [1,0,0,0] 的良好的、旧的最大池化。
　　后面的层可以获取更多信息。因此，在非最大激活函数可用于降低损失函数时，网络只可学习使用其他值。
　　梯度流过上一层中的所有 4 个值（相比之下，最大池化层只有一个值）。实验了cifar-100、mnist、fasion-mnist、resnet、omniglot等，性能都优于max-pooling.
　　

---

Supervised Speech Separation Based on Deep Learning: An Overview

- 2017年8月   
- 概览基于深度学习的监督语音分离
- 

　　本文的结构如下：首先回顾监督语音分离的三个主要方面，即学习机器、训练目标和特征（分别在第二、三、四章进行介绍）。第五章介绍单声道分离算法，第六章介绍基于阵列的算法。第七章是总结。