H. Goh, N. Thome, M. Cord, J. Lim的Top-Down Regularization of Deep Belief Networks提出在学习DBN的时候在layerwise pretraining和discriminative fine tuning中间插入一个步骤做top-down regularization。他们的想法是，generative pre training和discriminative fine tuning中间差别很大，他们希望用一个中间步骤来弥合这两步之间的落差，以更好地初始化DBN中的参数。具体来讲，他们的top down regularization将output固定，这样DBN的两端都有了input，然后还是用类似RBM的方法做layerwise training，不同的是这时除了reconstruct底下一层的input，还同时reconstruct上面一层，这样就间接引入了output信息，同时training依旧基本上还是是generative的，所以就起到了两步中间的桥梁作用。他们实验结果说明这个方法略有一点点效果。不过最近的neural net研究已经发现了其实不用做layerwise pretraining都可以直接做discriminative training，这种改进DBN pretraining的这个idea实用性一般。
Y. Bengio, L. Yao, G. Alain, P. Vincent的文章Generalized Denoising Auto-Encoders as Generative Models idea是用一个feed forward neural net来学习一个generative model，这样就可以避免partition function的难题。具体来讲使用denoising autoencoder，比如一层的网络就是feed forward，然后在hidden layer加noise，在reconstruct input，通过引入的noise就引入了reconstruction的概率分布，因而就可以当成一个generative model来用了。是个直观的idea，但我觉得这个方法在学习multi-modal distribution的时候会有困难，数学上也不见得很严谨。
G. Zhu, C. Xu, Q.Huang, Y. Rui, S. Jiang, W. Gao, H. Yao在2009年发表在IEEE TRANSACTIONS ON MULTIMEDIA上的文章Event Tactic Analysis Based on Broadcast Sports Video提出了一种从足球视频中提取进攻策略信息的新方法。首先他们通过将web-casting text和broadcast video信息相结合得到attack event。然后在得到的attack event中，通过构造加权图，用Viterbi算法得到aggregate trajectory，通过对球场上line的检测以及对竞争网络的构造得到play region sequence。最后用aggregate trajectory和play region sequence表示进攻策略信息。
Matthieu Courbariaux, Yoshua Bengio 在NIPS2015上的paper BinaryConnect: Training Deep Neural Networks with binary weights during propagations，主要做法是为了将神经网络中的weights 和 input (forward)以及error(backward)的乘法运算转换为加法运算从而减少整个网络的运算时间，提出了一种将权重进行二值化采样的方法，根据weight的取值，计算出一个clip之后的概率p,以p的概率为1，1-p的概率为-1，然后再进行forward和backward的运算，当然在implementation的过程中还加入了weight的clip操作，并且梯度更新是更新采样之前的weight，还加入了batch_normalization之类的，最后在几个典型数据集上取得了comparable的效果。
中国科学技术大学多媒体计算与通信教育部-微软重点实验室
MultiMedia Computing Group
722
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
