深度学习

神经网络中信息熵及梯度计算

信息熵

信息熵

• 热力学中的熵：是表示分子状态混乱程度的物理量
• 信息论中的熵：用来描述信息源的不确定性的大小
• 信源信息的不确定性函数f通常满足两个条件：

1. 是概率p的单调递减函数
2. 两个独立符号额所产生的不确定性应等于各自不确定性之和，即f(p1,p2) = f(p1)+f(p2)

• 对数函数同时满足这两个条件：f§ = log(1/p) = -log§

• 信息熵：要考虑信源所以可能发生情况的平均不确定性。若信源符号有n中取值：U1,…,Ui,…,Un,对应的概率分别为p1,…,pi,…,pn,且各种出现彼此独立。此时信源的平均不确定性应当为单个符号不确定性-log(pi)的统计平均值（E），称为信息熵，即
  $$H(U)=E[-\log (p_i)]=-\sum _{n=1}^n{p}_i\log (p_i)=\sum _{n=1}^n{p}_i\log (\frac{1}{p_i})$$

交叉熵

• 定义：交叉熵是信息论中一个重要的概念，用于表征两个变量概率分布P,Q（假设P表示正式分布，Q为模型预测的分布）的差异性。交叉熵越大，两个变量差异程度越大。

• 交叉熵公式：
  $$H(P,Q)=-\sum _{x\epsilon X}P(x)\log (Q(x))=\sum _{x\epsilon X}P(x)\log (\frac{1}{Q(x)})$$

• 应用：在深度学习应用比较广泛，一般作为神经网络的组织函数，衡量深度学习模型预测概率分布与真实分布的差异

相对熵

• 也称为KL散度（简称KLD）、信息散度、信息增益

• 定义：是交叉熵与信息熵的差值。表示用分布Q模拟真实分布P，所需的额外信息。若相对熵越小，则表明需要的额外信息越少，P接近Q。

• 计算公式：
  $$D_{KL}(P||Q)=\sum _{x\epsilon X}P(x)\log (\frac{1}{Q(x)})-\sum _{x\epsilon X}P(x)\log (\frac{1}{P(x)})$$

• 相对熵的性质：

  1. 具有不对称性：
     $$D_{KL}(P||Q)\ne D_{KL}(Q||P)$$

2. 具有非负性：
   $$D_{KL}(P||Q)\ge 0$$

JS散度

用于两个概率分布的相似度。

• 具有对称性：由于KL散度不具有对称性，因此JS散度在KL散度的基础上进行了改进。

• 计算公式：
  $$JS(P_1||P_2)=\frac{1}{2}KL(P_1||\frac{p_1+p_2}{2})+\frac{1}{2}KL(P_2||\frac{p_1+p_2}{2})$$

联合熵（复合熵）

• 用H(X,Y)表示
• 两个随机变量X,Y的联合分布的熵，形成联合熵

条件熵

• 用H(X|Y) 表示在随机变量Y条件下随机变量X的不确定性。
• H(X|Y) = H(X,Y) - H(Y),表示(X,Y)的联合熵减去Y单独发生包含的熵。

互信息

• 定义：可以被看成一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不确定性。

• 具有对称性：
  $$I(X;Y)=I(Y;X)$$

• 计算公式：
  $$I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(X,Y)=\sum _{x}p(x)\log \frac{1}{p(x)}+\sum _{y}p(y)\log \frac{1}{p(y)}-\sum _{x,y}p(x,y)\log \frac{1}{p(x,y)}$$

反向传播中的梯度

反向传播（BP）算法的学习过程由正向传播过程和反向传播过程组成。

• 正向传播：输入层–>隐藏层–>输出层，经过逐层处理到达输出层。
• 反向传播：从输出层自顶向下逐层求出损失函数和各个神经元的梯度作为修改权值的依据，当误差达到预期的期望值或者迭代次数达到预定的阈值时，学习结束。
• 反向传播需要通过递归调用链规则计算表达式的梯度。

梯度的简单解释

• 一般形式：
  $$\frac{df(x)}{dx}=\underset{h\to 0}{\lim }=\underset{h\to 0}{\lim }\frac{f(x+h)-f(x)}{h}$$

  1. 例1：对于函数f(x,y) = xy,$\frac{\partial f}{\partial x}=y,\frac{\partial f}{\partial y}=x$ ,由于梯度$\nabla f$实际上是偏导向量，因此我们有：
     $$\nabla f=[\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}]$$

链规则对复合表达式计算梯度

例：假设复合表达式为f(u,v,w) = (u + v)w。令q = u + v,则f = qw,则有$\frac{\partial f}{\partial q}=w,\frac{\partial f}{\partial w}=q,\frac{\partial q}{\partial u}=1,\frac{\partial q}{\partial w}=1$,在神经网络中f一般是作为损失函数，输入u,v,w包括输入的数据集和权重。

• 使用链规则，则有$\frac{\partial f}{\partial u}=\frac{\partial f}{\partial q}\ast \frac{\partial q}{\partial u}=w\ast 1,\frac{\partial f}{\partial v}=\frac{\partial f}{\partial q}\ast \frac{\partial q}{\partial v}=w\ast 1,\frac{\partial f}{\partial w}=q$
• 假设u=1；v=2；w=-3
  1. 正向传播：q = u + v,f=q*w
  2. 反向传播：$\frac{\partial f}{\partial q}=w,\frac{\partial f}{\partial u}=1\ast \frac{\partial f}{\partial q},\frac{\partial f}{\partial v}=1\ast \frac{\partial f}{\partial q},\frac{\partial f}{\partial w}=q$

Sigmoid门的反向传播

• sigmoid函数的作用：对数值做规范化处理
• 函数公式：$\sigma (z)=\frac{1}{1+e^{-z}}$,则$\frac{d\sigma (z)}{dz}=\frac{e^{-z}}{(1+e^{-z}{)}^2}=\frac{(1+e^{-z}-1)}{(1+e^{-z})}\ast \frac{1}{1+e^z}=(1-\sigma (z))\ast \sigma (z)$
• 假设有$f(w,x)=\frac{1}{1+e^{-(w_0{x}_0+w_1{x}_1+w_2)}}$,则其正、反向传播过程为：
  1. import math，w = [3,4,5],x = [6,7]
  2. 正向传播：dot = w[0]*x[0] + w[1]*x[1] + w[2],f = 1.0/(1+math.exp(-dot))
  3. 反向传播：df/d(dot) = (1-f)*f,df/dx = [w[0] * df/d(dot), w[1] * df/d(dot)], df/dw = [x[0] * df/d(dot), x[1] * df/d(dit), 1 * df/d(dot)]

矩阵-矩阵相乘的梯度

矩阵-矩阵相乘的梯度需要注意维度和转置操作。例如，D = W * X，在深度学习中W一般标识权值矩阵，X表示为样本的特征矩阵。

• 正向传播：W=np.random.randn(5,10),X = np.random.randn(10,2),D = W.dot(X)
• 反向传播：dD = np.random.randn(*D.shape)#随机初始化来模拟D的梯度，dD/dW = dD.dot(X.T),dD/dX = W.T.dot(dD)

感知机

什么是感知机（perceptron）

• 感知机由Rosenblatt提出，是神经网络的基础

• 感知机是两类分类的线性分类模型。假设输入为实例样本的特征向量x，输出为实例样本的类别y。则由输入空间到输出空间的如下函数称之为感知机。

  $y=g({\sum }_{i=1}n{w}_i{x}_i+b)$ 或者 y = g(w * x +b),w和b称为感知机模型的参数，w是权值向量，b为偏置，w*x为权值向量和特征向量的内积。

• g为激励函数，已达到对样本分类的目的。Rosenblatt的感知机使用阶跃函数作为激励函数，其函数公式如下：
  $$g(x)=\{\begin{array}{l}+1,z\ge 0\\ -1,z<0\end{array}$$

• 激励函数的目的：对输出值进行规范

• 感知机的原理可概括为下图：

感知机模型的损失函数

• 损失函数的选择采用误分类点到超平面的距离（这里采用点到直线的距离）：$\frac{1}{||w||}|w\ast x_i+b|$,其中$||w||$是L2范数
• 对于误分类点$(x_i,y_i)$来说：$-y_i(w\ast x_i+b)>0$总是成立。则误分类点到超平面的据类可以写成$-\frac{1}{||w||}{y}_i|w\ast x_i+b|$,从而所以误分类点到超平面的总距离为$-\frac{1}{||w||}{\sum }_{x_i\epsilon M}{y}_i|w\ast x_i+b|$。
• 不考虑$\frac{1}{||w||}$，就得到极小化损失函数$L(w,b)=-\frac{1}{||w||}{\sum }_{x_i\epsilon M}{y}_i|w\ast x_i+b|$。其中M为误分类点的集合。

感知机模型的优化-随机梯度下降法

• 优化目的：找到使损失函数$L(\theta )=L(w,b)=-\frac{1}{||w||}{\sum }_{x_i\epsilon M}{y}_i|w\ast x_i+b|$变小的参数$\theta$。

• 模型参数$\theta$,即w和b，的更新公式为$\theta :=\theta -\eta {\nabla }_{\theta }L(\theta )$（其中$\eta$是步长，$0<\eta \le 1,{\nabla }_{\theta }L(\theta )$是梯度），对w和b求的两个偏导分别为：
  $$\frac{\partial L(\theta )}{\partial w}=-\sum _{x_i\epsilon M}{y}_i{x}_i,\frac{\partial L(\theta )}{\partial b}=-\sum _{x_i\epsilon M}{y}_i$$

• 感知机算法的损失函数极小化过程是每次随机选择一个误分类点使其梯度下降。因此，随机选择一个误分类点$(x_i,y_i)$,对w和b进行更新。即
  $$w:=w+\eta y_i{x}_i,b:=b+\eta y_i$$

感知机学习算法

• 输入训练数据据$T=(x_1,y_1),(x_2,y_2),...,(x_N,y_n)$，其中$x_i\epsilon R^n,y_i\epsilon -1,+1,i=1,2,...,N.$学习速率为$\eta (0<\eta \le 1)$。

• 输出：感知机y = g(w * x + b)的参数(w,b)

• 训练学习过程：

  1. 选取初始值$w_0,b_0$

  2. 在训练集中选取数据$(x_i,y_i)$

  3. 如果$y_i(w\ast x_i+b)\le 0$（误分类了），更新参数
     $$w:=w+\eta y_i{x}_i,b:=b+\eta y_i$$

  4. 转至2，直到训练集中没有误分类点。

感知机迭代实例–学习笔记

• 已知：

  1. 正样本点：$x1=(3,3{)}^T,x2=(4,3{)}^T$
  2. 负样本点：$x3=(1,1{)}^T$(正例的输出y为1，负例的输出y为-1)
  3. 求感知机模型f(x) = g(w * x + b),其中$w=(w^{(1)},w^{(2)}{)}^T,x=(x^{(1)},y^{(2)})$.

• 求解：构建最优化问题$\underset{w,b}{\min }=-{\sum }_{x_i\epsilon M}{y}_i(w\ast x_i+b)$。其中M为误分类点的集合。求解w,b,$\eta =1$。

  1. 去初始值$w_0=(0,0{)}^T,b_0=0$

  2. 对取样本点$x_1=(3,3{)}^T,y_1(w_0\ast x_1+b_0)=0$，（小于等于0表示分类错误）未能正确分类，更新w,b，得到线性模型$f1 = w_1 * x + b_1 = 3x^{(1)} + 3x^{(2)} + 1
     $
     $$w_1:=w_0+\eta y_1{x}_1=(3,3{)}^T,b1:=b0+\eta y_1=1$$

  3. 对样本点x1,x2,显然$y_i(w_0\ast x_i+b_0)>0$，被正确分类；对样本点$x3=(1,1{)}^T,y_3(w_0\ast x_3+b_0)<0$,被误分类，更新w,b：
     $$w_2:=w_1+\eta y_3{x}_3=(2,2{)}^T,b2:=b1+\eta y_3=0$$
     得到新的线性模型$f2=w_2\ast x+b_2=2x^{(1)}+2x^{(2)}+0$

  4. 如此继续下去，直到

     $w_7=(1,1{)}^T,b_7=-3$，得到线性模型$w_7\ast x+b_7=1x^{(1)}+1x^{(2)}-3$

     对所有数据点$y_i(w_7\ast x_i+b_7)>0$,没有误分类点，损失函数达到极小。