神经元与深度学习
回顾我们之前构造复杂函数的方法:我们根据分段曲线逼近任意曲线原理,使用可导的sigmoid函数,通过调整b1, w1, c1, ..., bn, wn, cn的值,并将这些形状各异的sigmoid函数相加就可以逼近一条效果较好的函数曲线,这样的曲线减少了指数,对数,幂指数等对函数走向的限制,更加灵活。
这一过程可以用下图表示
从上面的图中,我们抽象一下
这个模式就叫神经元(neuron),上面公式中的f叫激活函数(activation function),常用的激活函数有sigmoid,tanh, relu等非线性函数。
神经元的输出是一个数值,这个数值还可以连接到其他神经元的尾部作输入,由此将多个神经元连接形成的系统叫神经网络(neural network)。这一概念是仿照人脑的工作原理提出的。
神经网络通常有很多层,这更加提升了机器学习得到复杂函数的能力,除了输入层和输出层外,其中夹杂的神经元称为隐藏层(hidden layer)。依靠深层神经网络进行的机器学习任务,就称为深度学习。
深度学习的过程与机器学习相同,都是通过梯度下降法最小化损失函数的值。