在机器学习中,执行一个算法通常要经过遵循以下三个步骤:(1)定义一个函数集;(2)定义函数的好坏;(3)训练参数,得到不同的函数,并选择最好的函数
Deep Learning同样遵循这三个步骤。具体来说,在第一步中,定义的函数集为一个神经网络(neuron network) 。
1.什么是神经网络
如图所示展示了一个神经网络,它是由许多神经元(neuron)组成的一个系统。每一个神经元的参数为:为每个输入分配一个权重wi,一个常数b,一个函数.在运算中,每个神经元执行这样的操作:将每个输入xi乘以权重wi后求和,将得到的值加上b作为函数的输入,输出得到的函数值。将这个神经元的输出将作为下个神经元的输入,依次将这些神经元之间进行连接即得到一个神经网络。定义了这些神经元之间的连接方式,也就定义了函数集。
举一个例子来说明神经网络是如何运作的。下图展示了一个简单的神经网络。神经网络的输入为1和-1,第一个神经元对两个输入的权重分别为1和-2,计算1*1+(-1)*(-2)+1=4,将4作为sigmoid函数的输入,输出(4)=0.98。同理计算其他神将元,最后整个神经网络得到的输出为0.62和0.83.
2.全连接前馈神经网络(Fully Connected Feedforward Network/DNN)
全连接前馈神经网络是一种常见的神经网络连接方式,指的是层与层的神经元之间使用全连接的方式连接,即一层中每个神经元的输出会参与到下一层每个神经元的输入。它的输入是一个N维向量,输出是一个M维向量。输入称为Input Layer,输出结果的一层神经元称为Output Layer,中间其他的层称为Hidden Layer,通常将使用了很多Hidden Layer的方法称为Deep Learing。
3.为什么要用Deep Learning(多层Hidden Layer)
一个已经被证实的理论是,一层Hidden Layer就足以模拟出任何函数,那么为什么还要使用Deep Learning呢?当然是因为Deep Learning的效果更好。如图,同一行的数据使用参数的个数是相似的。可以看出,使用多层Layer的效果明显好于只使用一层的。
造成这种差异的原因是在Deep Learning学习的过程中,自动实现了类似模组化的过程,即将一个问题拆解为一些更小的,容易解决的问题。比如要对长发男生,长发女生,短发男生,短发女生进行分类。如果分别训练四个分类器,由于短发男生的样本较少,训练的效果不一定优秀。但是我们可以先训练一个分类器,区别长发和短发,再训练一个分类器,区别男生和女生,这样都能保证有足够的样本可以供模型学习。
这个过程类似于剪窗花的过程。你当然可以直接在一张纸上剪出一个复杂的图形,但是如果将纸对折后再剪裁会更加简单。