深度学习课程记录（一）

1. 线性回归

给定样本：

构造损失函数：

找到超平面参数θ，求解

令

可以解得。

2. 线性分类

对值做一个变换

其中

该函数为Sigmoid函数。并且有如下性质

与线性回归基本一致，不同的是

并且采用梯度下降法迭代求解θ。

3. 神经元模型

3.1单神经元模型

设

则y=f（z），f（x）为单位阶跃函数。还有对称型sigmoid函数和非对称型sigmoid函数

3.2 Hebb规则

连接权值的调整量与输入输出成正比：

4. 感知机模型

从输入到输出模型如下：

计算任意点到直线距离，有正负。对样本进行分类

定义损失函数：

要找到超平面参数w*，满足：

5. BP网络

已知网络的输入/输出样本

正向传播是输入信号从输入层经隐层，传 向输出层，若输出层得到了期望的输出， 则学习算法结束；否则，转至反向传播。

反向传播是将误差(样本输出与网络输出 之差）按原联接通路反向计算，由梯度下 降法调整各层节点的权值和阈值，使误差 减小。

设置初始权系数，然后给定输入/输出样本对，计算网络输出，完成前向传播，计算J，当J够小时停止训练，否则进行反向传播计算，由输出层按梯度下降法将误差反向传播，逐层调整权值。