机器学习面临的挑战和解决方法

    今天看了微软亚洲研究院首席科学家刘铁岩博士分享的关于机器学习的六个挑战及解决思路的视频，做了如下总结。

六个挑战

解决方案

标注数据vs对偶学习

     对偶学习是为了解决没有标注数据的问题，主要是利用了问题的双向性和强化学习来解决。如机器翻译，语言识别生成，对话系统等都是双向的对偶问题。

模型过大 vs LightRNN；梯度消失 vs ResNet

     如果对每一个词都给一个word embedding的话，会导致模型过大，LightRNN通过相近词共享word embedding的思想大大减少了模型的size。ResNet通过在神经元加入gate的方式，使得梯度的值得以保留，在很大程度上，使得误差可以向前传播。

训练速度和收敛效果的矛盾 vs DC-ASGD

      DC-ASGD包含在微软的CNDK中的Multiverso参数服务器中和微软的DMTK(Distributed Machine Learning Tookit).

符号学习 vs Graph Learning

    符号学习的方法和连接主义的方法很难结合在一起，需要一个这两个方面都很精通的人才有可能把这两者结合起来。

learning to Learn

      无介绍 

群体学习

       无介绍