深度学习2016主要进展

深度学习2016主要进展
今天看到一篇深度学习2016年度的主要进展，有必要分享给大家，接下来一段时间满满的论文（哭）。
网页链接：
https://tryolabs.com/blog/2016/12/06/major-advancements-deep-learning-2016/

机器学习一大挑战是 unsupervised learning 非监督学习
2016年在非监督学习领域最主要的就是在generative models（生成模型）上的研究，还有一个就是人机交互（所要达到的目标）方面的研究，google和facebook在这一领域研究出一些方法，在自然语言处理问题上的创新对达到这一目标具有至关重要的作用。
⑴generative adversarial network(GANs)
GANs能够使模型处理非监督学习问题，虽然是在2014年由lan goodfellow提出https://en.wikipedia.org/wiki/Ian_Goodfellow但真正显示它的潜能是在2016年，deep convolutional GAN https://arxiv.org/pdf/1511.06434v2.pdf 在今年提出。

⑵infoGAN模型https://arxiv.org/pdf/1606.03657v1.pdf
将GAN模型扩展到能够学习可解释的，有用的数据矢量表达，
这种模型能够以一种非监督的方式生成包含数据集信息的表达方式。
⑶conditional GANs
GAN模型的另一个扩展，这种模型能够考虑额外的信息（类别标签，文本，另一图像）来生成样本，使用这一能力促使模型中的G去生成输出的一种特定类型。主要有以下几种：
①文本到图像
https://arxiv.org/pdf/1605.05396v2.pdf
②图像到图像
https://phillipi.github.io/pix2pix/
③提高分辨率
https://arxiv.org/pdf/1609.04802v3.pdf
⑷自然语言处理NLP
NLP主要解决的问题是：text understanding(文本理解)，question answering(问题应答)，machine translation(机器翻译)。
① text understanding(文本理解)
Salesforce metamind 创建了一种新的模型joint many-tasks http://metamind.io/research/multiple-different-natural-language-processing-tasks-in-a-single-deep-model/
② question answering(问题应答)
Salesforce metamind 提出一种新的模型 dynamic coattention network http://metamind.io/research/state-of-the-art-deep-learning-model-for-question-answering/
③ machine translation(机器翻译)
Google 提出了一种新的模型 google neural machine translation（GNMT）,该模型单独的对每一对汉英语言进行训练。在11月，一种新的GNMT模型提出 https://research.googleblog.com/2016/11/zero-shot-translation-with-googles.html。