深度学习中线性模型的局限性

在线性模型中，模型的输出为输入的加权和。假设一个模型的输出y和输入x满足以下关系，那么这个模型就是一个线性模型。

其中w，b为模型的参数。

一、线性模型的最大特点是任意线性模型的组合仍然还是线性模型。

例子：

其中W'是新的参数，这个前向传播的算法完全符合线性模型的定义。从这个例子中可以看出，虽然这个神经网络有两层（不算输入层），但是它和单层神经网络没有区别。以此类推，只通过线性变换，任意层的全连接神经网络和单层神经网络模型的表达能力没有任何区别，而且他们都是线性模型。

这就是线性模型最大的局限性，这也是为什么深度学习要强调非线性的原因。

二、线性模型无法解决非线性问题

在现实世界中，绝大部分的问题都是无法线性分割的，比如判断零件是否合格。线性模型能很好解决线性可分的问题，在深度学习的定义中特意强调它的目的是为了解决更加复杂的问题，而且绝大多是都是非线性的。

这时候一般使用较多的有ReLU、tanh等作为激活函数，就能很好的解决非线性问题了