多层感知机中激活层的应用

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

学习多层感知机的一些想法

---

一、为什么会有多层感知机

之前所学的预测房价的线性回归和进行多分类的softmax回归本质上都是单层神经网络，即只有一次权重和偏置的运算。首先线性回归预测房价的模型很好理解，就是一个线性模型，利用已知的房屋特征向量X和房价Y来拟合一个最优的线性函数。而softmax回归的输出也是输入的仿射变换，也是线性的，与线性回归不同的是它对输出进行了softmax运算，还用交叉熵定义了损失函数。

所以之前研究的模型都是线性的，但是生活中有很多非线性的问题。比如回归问题，如果一个人欠贷款，他的工资从1万涨到5万和从101万涨到105万，他还款的概率是不一样的。比如分类问题中的XOR问题，线性模型无法对XOR问题进行分类。

所以，为了提高模型模型的非线性表达能力，加入了隐藏层，但是光在输入和输出之间添加一层是不够的，因为仿射变换的仿射变换还是仿射变换，即y = (w1x1 + b1) w2 + b2 = w1w2x1 + w2b1 + b2。所以在隐藏层加入了激活函数。

激活函数是一种非线性函数，常见的有sigmod，relu，tanh等，加入激活函数后输入与输出不再是简单的线性关系，从而可以通过更新参数来使模型表示更多样的函数关系。

激活函数中，sigmod函数和tanh函数中都有exp项，而导致函数求导复杂。我们都知道训练过程中反向传播会求出各个节点的导数，所以这导致sigmod函数tanh函数应用不多，而relu函数由于其求导简单，函数表达式也简单的特点受到广泛的应用。