对偶学习_刘铁岩_微软亚洲研究院

1.人工智能的挑战

    （1）big training data  ——》Labeling cost   观点：深度学习没有大量标记数据工作效果并不好，甚至不可工作。

如：image classification 有上百万张标记图像

       Speech recognition 有上千小时注解的语音数据

       machine translation  数百外对对应句子

      and so on.....

对于标签数据不足的解决方案：

      标签传播算法、Multi-task learning、Transfer learning、Transductive learning 传导式学习

对偶学习：

            在人工智能领域非常常见

        AI task       x--y                                       y--x

      机器翻译     英文--》中文                        中文--》英文

      语音处理     语音识别                               文本转语音

      图像理解     图片描述                               图像生成

      QA系统       问题回答                               问题生成

    关于dual learning 的文献

                 Dual unsupervised learning(NIPS 2016)

                 Dual supervised learning(ICML 2017)

                 Dual inference (IJCAL 2017)

                 Dual transfer learning(AAAI 2018)

  

    （2）big computation ——》Effectiveness-efficienty tradeoff

               微软亚洲研究院的研究：

                         分布式机器学习

                          lightweight machine learning

                              开源工具：LightGBM（据说效果好于XGboost），lightRNN ，lightLDA

    （3）black magic ——》 Empirical hyperparameter tuning

微软研究： learning to learn

                   learning to teach

    （4）blackbox learning ———》lack of interpretability 缺乏解释性

    （5）Single-minde solution  :观点  深度学习并不是唯一的解决方案

    （6）Far from human intelligencce

   2.以机器翻译作为例子

  

                    En -->Ch translation

                    primal Task f:x--->y

agent A   ---------------------------------------------->  agent B     

                <---------------------------------------------

                    Dual Task g:y--->x

                    Ch--->En  translation

大概过程：学习返回的残差（使用到强化学习）

                 数学原理：P（x,y） = P(x)P(y|x;f) = P(y)P(x|y;g)     贝叶斯公式的思想

                                                    primal view       dual view

体会：

               DL有万能逼近某个函数 但是不等于人类智能

                人有无意识的动作

               relu sigmoid 函数过于简单，sin cos 函数就是复杂函数

               机器翻译不解决文化问题  如：负荆请罪翻译为英文，机器做不到。。

               读paper要有批判性读，发现问题，解决问题。