吃瓜笔记Task04

神经网络

一、神经元模型

六、深度学习

• 定义：具适应性简单单元组成的广泛并行互连网络，组织能模拟生物神经网络对外界做出交互反应。

• 最基本模型：神经元模型

• MP神经元模型：

  

• 典型神经元激活函数：

  

  二、感知机与多层网络

• 感知机：两层神经元。输入层接收信号传递给输出层，输出层是M-P神经元。感知机能实现与、或、非运算。

• 

   

• 

   

• 运算法则与参数：

  

  

   

  注：感知机只有输出层进行激活函数处理，即只有一层功能神经元，学习能力有限，只能处理线性可分问题。

• 多层功能神经元：

  

• 多层前馈神经网络：

• 输入层神经元输入，隐层和输出层处理，输出层输出

  

  神经网络的学习过程，就是根据训练数据调整神经元“联系权”和每个神经元的阈值。

  三、误差逆传播算法

• BP算法：训练多层网络

• 工作流程：

  

• 目标：最小化训练集D的累计误差

• 

   

• 差别：

• 标准BP算法：针对单个样例，参数更新频率高，对不同样例更新效果可能抵消，需多次迭代。

• 累计BP算法：遍历数据集再更新，参数更新频率低。

• 试错法：设置隐层神经元个数

• 改善BP算法过拟合：

  

  

   

  四、全局最小与局部极小

  神经网络训练过程是参数寻优过程

  

• 注：全局最小->局部极小

• 基于梯度的搜索：

  

• 如何跳出“局部极小”，接近"全局最小"：

  

  五、其他常见神经网络

  具体见西瓜书

• RBF网络

• ART网络

• SOM网络

• 级联相关网络

• Elman网络

• Boltzmann机

• 定义：深层的神经网络。增加隐层提高容量，参数增多。

• 深度学习训练方法：

• 无监督逐层训练：

  

• 权共享：

• 以CNN进行手写数字识别任务为例