神经网络与深度学习课程笔记（一）

线性回归

线性回归要素：训练集、输出数据和模型。

假设线性函数可表示为：

$$\begin{gathered} y=h_{\theta }(x)={\theta }^{T}x \\ \theta =[{\theta }_1,{\theta }_2,...{\theta }_n{]}^T,x=[x_1,x_2,...x_n{]}^T \end{gathered}$$

给定样本$(x^{(i)},y^{(i)})$，构造代价(误差、损失)函数为：

$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(y^{(i)}-h_{\theta }(x^{(i)}){)}^2$$

线性回归的目标是找到超平面参数$\theta$，使$J(\theta )$最小，即求解$mi{n}_{\theta }J(\theta )$

令$\frac{\partial J(\theta )}{\partial \theta }=0$，即可得到：$\theta =(X^{T}X{)}^{-1}{X}^{T}y$，其中：

$X=\left[\begin{array}{l}(x^{(1)}{)}^T\\ (x^{(2)}{)}^T\\ ...\\ (x^{(N)}{)}^T\end{array}\right],y=\left[\begin{array}{l}{y}^{(1)}\\ y^{(2)}\\ ...\\ y^{(N)}\end{array}\right]$

线性二分类问题

线性分类器的输入是特征向量，输出是哪一类。如果是二分类问题，则为0和1，或者是属于某类的概率，即0-1之间的数。

与线性回归差别：

1. 输出意义不同

   属于某类的概率<->回归具体值

2. 参数意义不同

   最佳分类直线<->最佳拟合直线

3. 维度不同

对于线性二分类问题，我们最终需要概率，结果在0-1之间，因此需要对值做一个变换：

$$\begin{gathered} y=\frac{1}{1+e^{-z}} \\ z={\theta }^{T}x \end{gathered}$$

此函数称为Sigmoid函数。

同样地，可构造代价（误差）函数：

$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(y^{(i)}-\frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}{)}^2$$

和回归方程一致，只是加了S函数，因此又称作softmax回归。

目标仍然是找到超平面参数$\theta$，使$J(\theta )$最小，但是这里$J$变成了非线性，$\frac{\partial J(\theta )}{\partial \theta }=0$无法求解。

采用迭代的方法，让$J(\theta )\to 0$，即构建一个序列，使${\theta }_1,{\theta }_2,\cdots {\theta }_k\to {\theta }^{\ast }$，最简单的方式为：

$${\theta }_{k+1}={\theta }_k+\Delta {\theta }_k$$

由于：

$$J({\theta }_{k+1})=J({\theta }_k)+[\frac{dJ}{d\theta }{]}^T\Delta {\theta }_k$$

若令：

$\Delta {\theta }_k=-\alpha \frac{dJ}{d\theta }=-\alpha {▽}_{\theta }J$

则必然有$J({\theta }_{k+1})\le J({\theta }_k)$

对数回归与多分类回归

从概率角度看问题。二分类问题可使用条件概率描述:

假设输出为{0,1}。重新修改指标函数：

神经元模型

单神经元模型

多层感知机

线性不可分问题：无法进行线性分类，解决方法为使用多层感知机：在输入和输出层间加一或多层隐单元。

多层前馈网络

多层前馈网络的反向传播 （BP）学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。网络结构见下图：

• 已知网络的输入/输出样本，即导师信号
• BP学习算法由正向传播和反向传播组成

BP算法