神经网络与深度学习（week1）

1. 线性回归

2. 线性二分类问题

线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。简言之，样本通过直线(或超平面)可分。

线性分类器输入：特征向量

输出：哪一类。如果是二分类问题，则为0和1，或者是属于某类的概率，即0-1之间的数。

因为我们需要0-1中间的一个数，常用的变换函数是sigmoid函数。

最简单的方式是J对θ求导为0，但是如果J非线性，导数为零的方程无法解出，只能通过迭代的方法

令J（θ）-->0

梯度下降法：

3. 指数回归

代价函数简写为：

又称为交叉熵损失

4. 神经网络

模仿动物神经元搭建的神经网络模型：

其中，f（x）称为作用函数，有以下几种常见形式：

另有Hebb原则：

5. 感知机

为解决线性不可分问题，在输入和输出层之间加一或多层隐藏单元，称为多层感知器。

多层感知器网络，有如下定理：

定理1 若隐层节点（单元）可任意设置，用三层阈值节点的网络，可以实现任意的二值逻辑函数。

定理2 若隐层节点（单元）可任意设置，用三层S型非线性特性节点的网络，可以一致逼近紧集上的连续函数或按 范数逼近紧集上的平方可积函数。

6. BP算法

BP学习算法由正向传播和反向传播组成：

① 正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。

② 反向传播是将误差(样本输出与网络输出之差）按原联接通路反向计算，由梯度下降法调整各层节点的权值和阈值，使误差减小。

设算法的输入输出样本(导师信号)为：

网络训练的目的，是使对每一个输入样本，调整网络参数，使输出均方误差最小化。这是一个最优化问题。

选取：

BP算法基本步骤：

① 设置初始权系数w0为较小的随机非零值；

② 给定输入/输出样本对，计算网络输出, 完成前向传播；

③ 计算目标函数J。如J < ε, 训练成功，退出；否则转入④；

④ 反向传播计算 由输出层，按梯度下降法将误差反向传播，逐层调整权值。