deep learning 深度学习札记

本文会不定期更新，如有什么错误或需要补充的请大家在文章下面评论，互相学习。

1.      与其他模型的关系

l  可视为一个神经元：感知机（激活函数为sgn（输出为-1,1）），LR（激活函数sigmoid），SVM（最优感知机）

l  输入层直接连接输出层（softmax）的NN（没有隐藏层的NN）：多分类的LR，mem（最大熵模型）

2.      Curriculum Learning

回想我们小时候的学习过程，我们是从最简单的概念学起然后依次增加学习难度的。如：幼儿园->小学->中学->大学，我们在学习汉字时也是从简单的学起。Curriculum Learning就是这样一种思想，先用简单的training data训练model然后依次用难度大一点的training data训练，实验证明，其训练效果要比纯乱序的training data好一些。

3.      “基”——寻找基本组成构件

“基”是线性代数里的术语，在深度学习中也有类似意义的概念。在某种程度上说，autoencoder，sparse coding，RBM都在干这样一件事情。找到了“基”，就可以用它来描述此空间里的任何事物。这一描述就是此事物的特征。深度学习的一个主要任务正是representation learning。

4.      “祖母细胞”与word embedding（distributed representation）

想象一下一个具体事物在大脑里面是怎样表示的。one hot representation应该不太靠谱，很有可能具体的一个事物或概念是存储在很多个脑细胞之中的，即，分布式存储。相对于one hot representation，distributed representation不仅表达能力强大而且具有很高的容错性（如果哪一个节点坏了或者值错了不大会影响结果）。

5.      unsupervised pre-training与supervised fine-tune

小孩在很小的时候是怎样辨别苹果，橘子，香蕉的。可能的情形是：他先琢磨（unsupervised pre-training）苹果为什么是苹果，橘子怎样就是橘子，香蕉又有什么特点（当然他还不知道这三者谁是谁）；然后，观察了一段时间后，父母教他哪个是苹果，哪个是橘子……（supervised fine-tune），父母甚至不用给他说出这些水果各自的特点（他已经通过unsupervised pre-training学到了水果的特征）就很快学会了辨别水果。

6.      深度学习是一次极为胜利的产品营销或全民催眠，然而前景看好。

科学家不是人们想象中的nerd，他们可能也深谙社科人文，产品营销什么的。例如，AI科学家就抓住了人们喜新厌旧的心理变着手法玩名词：什么人工智能，数据挖掘，机器学习，模式识别，神经网络，深度学习，数据科学……，这一次，神经网络东山再起，并且改名换姓为深度学习，成功催眠了工业界，学术界以及媒体，其复苏自2006年以来一直火到今天。然而我们需要清楚的是深度学习目前距离AI还是很遥远的，例如，很多传统方法能搞定的问题用目前的深度学习方法是搞不定的（如DeepQA，国际象棋，四色定理等）。神经网络曾经死过两次（XOR干掉一次[注1]，SVM干掉一次），这一次，我们需要用更加冷静的心态来对待它。

注1：当时人们发明了感知机并且发现它不能解决非线性问题（例如XOR）并且错误的认为mlp也不能解决此问题。