深度学习基础入门（一）：基本概念和术语解读

    本文旨在解释一些深度学习中的基本概念，并通过一些实践中的例子帮助理解，可能个人解读有误，还望指正。本文提纲参照参考文献【2】进行，对其简练的内容加以了丰富和扩展，确保零基础的新手也可以有比较清晰的认识。

表示学习（representation learning）

        表示学习是机器学习中的一项重要任务，又称学习表示。即用何种机器能够理解的表示方法来标表示数据。例如在NLP领域中，用word2vec方法，将自然语言用向量形式表示。

        书面化一点地说，机器学习旨在自动地学到从数据的表示（representation）到数据的标记（label）的映射。

        表示学习有很多种形式，比如CNN参数的有监督训练是一种有监督的表示学习形式，对自动编码器和限制玻尔兹曼机参数的无监督预训练是一种无监督的表示学习形式，对DBN参数-先进性无监督预训练，再进行有监督fine-tuning-是一种半监督的共享表示学习形式。

        表示学习中最关键的问题是：如何评价一个表示比另一个表示更好？表示的选择通常通常取决于随后的学习任务，即你的目的是什么，要达到什么效果。一个数据样本集可能有多个特征可以表示它，例如鸡蛋，可以说形状是圆的作为一个表示，也可以说外白内黄作为一个表示，当然也可以联合起来使用……所谓条条大路通罗马，路又分为水路、旱路，你要去小岛上就要选水路，去地面上某个地方就要选旱路。一个好的表示应该使随后的任务的学习变得更容易、更加准确高效。再以专业化一点的基于CNN的图像分类任务为例：模型可以分为基于CNN的特征抽取和基于softmax回归的线性分类两个部分。通过模型参数有监督的训练，通过CNN，从线性不可分的图片里抽取出线性可分表示（特征），softmax线性分类器可以基于抽取的线性可分的表示进行分类。

        随着机器学习算法的日趋成熟，人们发现，在某些领域（如图像、语音、文本等），如何从数据中提取合适的表示成为整个任务的瓶颈所在，而数据表示的好坏直接影响后续学习任务（所谓garbage in，garbage out）。与其依赖人类专家设计手工特征（难设计还不见得好用），表示学习希望能从数据中自动地学到从数据的原始形式到数据的表示之间的映射。

        表示学习中最有趣的一种形式是涉及多个任务的共享表示学习。为什么？

        以无监督和有监督结合的共享表示学习为例。