神经网络与深度学习第二周学习总结

授课老师：屈桢深

参考书籍：《动手学深度学习》

环境配置：PyTorch

---

第二周第一次课（第二部分线性回归）

---

2.1线性分类（复习）

介绍Sigmoid

目的是求出最终的“分界直线”

第四章 神经元模型

4.1神经元模型

首先介绍了生物神经网络以及生物神经元模型

生物神经元的几种模型：Spiking模型；Integrate-and-fire 模型以及人工神经元模型 : M-P 模型

给出单神经元模型：

4.2作用函数

1. 非对称型Sigmoid函数（Log Sigmoid）

2. 对称型Sigmoid函数（Tangent Sigmoid）

3. 对称型阶跃函数

这是具有阶跃作用函数的神经元，也称为阈值逻辑单元

4.3Hebb规则

内容：连接权值的调整量与输入输出的乘积成正比，即：

Δw = a · x · y

第五章 感知机模型

5.1感知机原理

介绍感知机：神经网络和支持向量机的基础，用于解决线性分类问题

5.2 感知机模型

5.3 训练过程

给出两个迭代过程实例图：线性可分参数迭代过程以及线性不可分参数迭代过程

5.4感知机与神经元模型类比

实际上感知机与神经元模型具有完全相同的形式，如下图所示：

---

第二周第二次课（第三部分BP网络）

---

第一章 多层感知机

1.1 XOR问题

线性不可分问题：无法进行线性分类

1.2 多层感知机

解决1.1问题可以使用多层感知机：在输入输出层之间加一层或多层隐单元：

多层感知机（三层）可以识别任一凸多边形或者无界的凸区域，使用更多层感知器网络可以识别更复杂的图形，并且对于感知器网络，有如下定理：

定理1　若隐层节点（单元）可任意设置，用三层阈值节点的网络，可以实现任意的二值逻辑函数。

定理2　若隐层节点（单元）可任意设置，用三层S型非线性特性节点的网络，可以一致逼近紧集上 的连续函数或按 范数逼近紧集上的平方可积函数。

第二章 多层前馈网络以及BP算法概述

2.1 多层前馈网络

多层前馈网络的反向传播学习算法，简称BP算法，是梯度下降法在多层前馈网中的应用。

网络结构由输入层，隐层，输出层节点组成，前层至后层的节点通过权相连。

若已知网络的输入输出样本（导师信号），可以由正向反向传播组成：

①正向传播是输入信号从输入层经过隐层传到输出层，如果输出层得到了期望的输出则结束

②反向传播是将误差按照原通路反向计算，调整各节点的权值减少误差

第三章 BP算法详解

3.1 BP算法基本思想

该算法的最终目的即对每一个输入样本，通过调整网络内的参数，使得输出均方误差最小。

将均方误差进行泰勒展开，通过选择△w使得J最小。

最后总结一下BP算法的基本思想

① 设置初始权系数w0为较小的随即非零值；

② 给定输入输出样本对，计算网络输出，完成前向传播；

③ 计算目标函数J，如果比给定误差小，则训练成功，退出；否则转向④；

④ 反向传播，由输出按照梯度下降将误差反向传播，逐层调整权值；

3.2 BP算法推导

1、前向传播

2、误差反传--输出层

3、误差反传--隐含层

4、误差反传--总结

第四章 算法评述

优点：学习完全自主；

可以逼近任意非线性函数；

缺点：算法非全局收敛；

算法收敛速度慢

学习速率a的选择问题；

神经网络的设计问题（几层，几点数）；