【深度学习讲解笔记】第1章-机器学习基础（3）

神经元与深度学习

回顾我们之前构造复杂函数的方法：我们根据分段曲线逼近任意曲线原理，使用可导的sigmoid函数，通过调整b1, w1, c1, ..., bn, wn, cn的值，并将这些形状各异的sigmoid函数相加就可以逼近一条效果较好的函数曲线，这样的曲线减少了指数，对数，幂指数等对函数走向的限制，更加灵活。

这一过程可以用下图表示

从上面的图中，我们抽象一下

这个模式就叫神经元（neuron），上面公式中的f叫激活函数（activation function），常用的激活函数有sigmoid，tanh， relu等非线性函数。

神经元的输出是一个数值，这个数值还可以连接到其他神经元的尾部作输入，由此将多个神经元连接形成的系统叫神经网络（neural network）。这一概念是仿照人脑的工作原理提出的。

神经网络通常有很多层，这更加提升了机器学习得到复杂函数的能力，除了输入层和输出层外，其中夹杂的神经元称为隐藏层（hidden layer）。依靠深层神经网络进行的机器学习任务，就称为深度学习。

 深度学习的过程与机器学习相同，都是通过梯度下降法最小化损失函数的值。