机器学习笔记（四）：西瓜书第5章——神经网络

目录

神经元模型

感知机与多层网络

误差逆传播算法/反向传播算法/BP算法

全局最小与局部最小

其他神经网络

深度学习

课后习题答案

---

• 神经元模型

  • ​​​​​​​神经网络中最基本的成分是神经元模型，把许多个神经元按一定的层次结构连接起来就成了神经网络。
  • 输入-权重-神经元-阈值-“激活函数”-输出
  • 典型的神经元激活函数：阶跃函数、Sigmoid函数​​​​​​​ 

    

• ​​​​​​​​​​​​​​感知机与多层网络

  • 感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。感知机的取值为+1和-1。
  • 感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型。
  • 感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。
  • ​​​​​​​感知机由两层神经元组成，输入层接受外界输入信号后传递给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”。
  • 特点：感知机学习算法具有简单，并且易于实现的特点，分为原始形式和对偶形式。
  • 感知机能轻易地实现与、或、非运算，但是感知机不能异或这样简单的非线性可分问题。因为感知机只有输出层神经元可以进行激活函数处理，即只有一层功能层，但是若要处理非线性可分问题，需要多层功能神经元。例如，两层感知机就能解决异或问题。
  • 多层前馈神经网络： 每层神经元与下一层神