神经网络基础知识学习总结

人工神经网络是对人脑或生物神经网络若干基本特性的抽象和模拟。为机器学习等许多问题的研究提供了一条新的思路，目前已经在模式识别、机器视觉、联想记忆、自动控制、信号处理、软测量、决策分析、智能计算、组合优化问题求解、数据挖掘等方面获得成功应用。

神经网络（neural networks，NN）

生物神经网络( natural neural network, NNN): 由中枢神经系统（脑和脊髓）及周围神经系统（感觉神经、运动神经等）所构成的错综复杂的神经网络，其中最重要的是脑神经系统。

人工神经网络(artificial neural networks, ANN): 模拟人脑神经系统的结构和功能，运用大量简单处理单元经广泛连接而组成的人工网络系统。

小结：

• 一个神经元可以有多个输入。
• 一个神经元只能有一个输出，这个输出可以同时输入给多个神经元。
• 一个神经元的 \$w\$ 的数量和输入的数量一致。
• 一个神经元只有一个 \$b\$。
• \$w\$ 和 \$b\$ 有人为的初始值，在训练过程中被不断修改。
• \$A\$ 可以等于 \$Z\$，即激活函数不是必须有的。
• 一层神经网络中的所有神经元的激活函数必须一致。

 

反向传播与梯度下降的基本工作原理：

• 初始化；
• 正向计算；
• 损失函数为我们提供了计算损失的方法；
• 梯度下降是在损失函数基础上向着损失最小的点靠近而指引了网络权重调整的方向；
• 反向传播把损失值反向传给神经网络的每一层，让每一层都根据损失值反向调整权重；
• Go to 2，直到精度足够好（比如损失函数值小于 \$0.001