【机器学习】人工神经网络

生物神经元

人工神经网络

人工神经网络旨在模仿人人脑结构及其功能的信息处理系统。人工神经网络简称神经网络（Artificial Neural Network，ANN），是由人工神经元互联组成的网络。

神经元

神经网络由大量的神经元和它们之间的有向连接组成。神经元大致由一个线性函数和一个作为非线程转换的激活函数组成。

神经网络的拓扑结构

前馈网络

前馈网络的信息流向是单向的，可以使用一个有向无环图来表示。前馈网络可以看做是一个非线性函数，实现了输入空间到输出空间的一个复杂映射。网络结构比较简单，易于实现。

反馈网络

反馈网络中的神经元不仅可以接受别的神经元的信号，还可以接受自己的反馈信号。这样的神经网络具备记忆能力，比如RNN，就是一个反馈网络。

图网络

图网络是前馈网络和反馈网络的一个泛化。神经元之间可以是有向的，也可以是无向的，并且只接受相邻神经元之间的信息。