机器学习笔记（四）神经网络

目录

第五章 神经网络

0️⃣神经元模型

1️⃣感知机与多层网络

2️⃣误差逆转传播算法

3️⃣全局最小与局部极小

4️⃣其他常见神经网络

✏️RBF网络

✏️ART网络

✏️SOM网络

✏️级联相关网络

✏️Elman网络

✏️Boltzmann机

5️⃣深度学习

---

第五章 神经网络

0️⃣神经元模型

        神经网络是由具有适应性的简单单元组成的广泛并进行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

💡神经网络中最基本的成分：神经元/neuron 模型，即上述“简单单元”。

        神经元接收来自  个其他神经元传递过来的输入信号，这些信号通过带权连接/connection 传递，神经元接受到的总输入值将与神经元的阈值进行比较，然后通过“激活函数/activation function”处理产生神经元的输出。

        理想中的激活函数时阶跃函数，实际常用 Sigmoid 函数作为激活函数。

💡Sigmoid函数把可能在较大范围内变化的输入值挤压到  输入值范围内，因此也叫“挤压函数/squashing function”

1️⃣感知机与多层网络

感知机/Perceptron 由两层神经元组成，输入层接受外界输入信号后传递给输出层，输出层时M-P神经元