一、简介
传统以逻辑回归LR为代表的的浅层结构,在解决很多简单问题时效果显著,但由于其模型和表示能力有限,遇到生活中一些更复杂的自然信号的问题时,就会遇到各种困难。
深度结构有着强大的非线性拟合能力,可以任意精度逼近任何非线性连续函数,同时配合着强大的特征提取能力,可以通过自动学习出数据中的“合理规则”,特别面对巨量数据集上,整体表现要优于传统学习。
最简单的神经网络——感知机,感知机是可以用来分类的,但是由于它太简单了,没有办法解决复杂问题,比如对于XOR问题,就搞不定,需要用更复杂的神经网络来去承担更复杂的问题!!
上面只有一层隐层,等价于LR逻辑回归,在LR基础上,进一步增加隐层,如下:
通过这个结构,就可以解决刚刚提到的XOR现行不可分问题,仅仅是加了一层隐藏层,并且利用“后向传播”(Back-propagation)学习方法,即可解决该问题了。