机器学习04

task04

M-P神经元

• M-P神经元（用来模拟生物行为的数学模型），最后通过激活函数（“抑制“：j减$\theta$大于0，”激活”：减$\theta$小于0）
  $$y=f(\sum _{i-1}^n{w}_i{x}_i-\theta )=f(w^{T}x+b)$$

• 单个M-P神经元：感知机（sgn激活函数），对数几率回归（sigmoid激活函数）

• 多个M-P神经元：神经网络

感知机

• 激活函数sgn（阶跃函数）的神经元$\theta$是感知模型的参数，阈值，$w$是权重
  $$y=sgn(w^{T}x-\theta )=\{\begin{array}{c}1,w^{T}x-\theta ⩾0\\ 0,w^{T}x-\theta <0\end{array}$$

• 从集合角度，给定一个线性可分的数据集T，感知机的学习目标是求得能对数据集T的正负样本完全正确划分的超平面，其中$w^{T}x-\theta =0$即为超平面方程

• n维超平面：

  • 方程不唯一
  • 法向量$w$垂直于超平面
  • 法向量$w$和位移b确定一个唯一超平面
  • 法向量$w$指向的那一半空间为征空间，另一半为负空间

• 学习策略： 随机初始化$\mathbf{w},b$，将全体训练样本带入模型找出误分类样本，假设误分类样本集合为$M\subseteq T$，两种情况：

  • $w^{T}x-\theta ⩾0$,样本模型输出值为$\hat{y}=1$，样本真实标记为y=0

  • $w^{T}x-\theta <0$,样本模型输出值为$\hat{y}=0$，样本真实标记为y=1

  • 综合两种情形，以下公式恒成立
    $$\begin{gathered} (\hat{y}-y)({\mathbf{w}}^T-\theta )⩾0 \\ 所以，给定数据集T，其损失函数可以定义为： \\ L(\mathbf{w},\theta )=\sum _{x\in M}(\hat{y}-y)({\mathbf{w}}^{T}x-\theta ) \\ 显然此损失函数是非负，如果没有误分类点，损失函数值是0，而且，误分类点越少，误分类点离超平面越近，损失函数值越小 \end{gathered}$$

• 怎么让损失函数变小

  • 给定数据集$T=\{({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),......,({\mathbf{x}}_{\mathbf{N}},y_N)\}$其中 x i ∈ R n , y i ∈ { 0 , 1 } \boldsymbol{x_i}\in R^n,y_i\in \{0,1\} xi​∈Rn,yi​∈{0,1},求参数$\mathbf{w},\theta$,使其为极小化损失函数的解：
    $$\underset{\mathbf{w},\theta }{\min }L(\mathbf{w},\theta )=\underset{\mathbf{w},\theta }{\min }\sum _{{\mathbf{x}}_{\mathbf{i}}\in M}({\hat{y}}_i-y_i)({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}-\theta )$$
    其中$M\subseteq T$为误分类样本集合，若将阈值$\theta$看作固定输出为-1的哑节点，即$-\theta =-1.w_{n+1}=x_{n+1}.w_{n+1}$根据该式，可将要求的极小化问题进一步简化为
    $$\underset{\mathbf{w}}{\min }L(\mathbf{w})=\underset{\mathbf{w}}{\min }\sum _{{\mathbf{x}}_{\mathbf{i}}\in M}({\hat{y}}_i-y_i)({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}})$$

• 感知学习算法：当误分类样本集合M固定时，那么可以求得损失函数L(w)的梯度为
  $${▽}_{w}L(\mathbf{w})=\sum _{x_i\in M}(\widehat{y_i}-y_i){\mathbf{x}}_{\mathbf{i}}$$
  感知机学习算法采用梯度下降，就是极小化过程中不是一次使M中所有的误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。所以权重 w的更新公式为
  $$\begin{gathered} \mathbf{w}\leftarrow \mathbf{w}+\Delta \mathbf{w} \\ \Delta \mathbf{w}=-\eta (\hat{y}-y_i){\mathbf{x}}_{\mathbf{i}}=\eta (y_i-{\hat{y}}_i){\mathbf{x}}_{\mathbf{i}} \\ \eta :学习率 \end{gathered}$$
  相应的，$\mathbf{w}$中的某个分量$w_i$的更新公式为西瓜书公式(5.2),最终解出来的$\mathbf{w}$通常不唯一

神经网络

• 单个神经元分类能力有限，只能分类线性可分的数据集，对于线性不可分的数据集无法，多神经元诞生，神经网络机能做回归，也能做分类，而且不需要复杂的特征工程

• 只要有包含足够多的神经元隐层，神经网络是以任意精度逼近任意复杂度的一个连续函数，决定模型上限的就是数据

• CNN：卷积神经网络：处理图像优越

• RNN：循环神经网络，文本处理优越

• 多层前馈网络：同层不连接，跨层连接

  • 与下一层神经元全互连（隐层阈值${\gamma }_h$,输出层阈值${\theta }_j$)，x是d维的特征向量（$x\in R^d)$

    

• 神经网络NN看作一个特征加工函数
  $$\begin{gathered} x\in R^d\to NN(\mathbf{x})\to \mathbf{y}={\mathbf{x}}^{\ast }\in {\mathbf{R}}^{\mathbf{l}} \\ 单输出线性回归：后面接一个R^l\to R的神经元，例如没有激活函数的神经元 \\ y={\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}^{\ast }+b \\ 分类：后面接一个R^l\to [0,1]的神经元，例如：激活函数为sigmoid函数的神经元 \\ y=\frac{1}{1+e^{-({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}^{\ast }+b)}} \\ 在模型训练过程中，神经网络NN自动学习提取有用的特征，因此，机器学习项“全自动数据分析又进了一步 \end{gathered}$$

• 假设多层前馈网络中的激活函数全是sigmoid函数，且当前要完成的任务为一个（多输出）回归任务，因此损失函数可以采用均方差（分类任务则用交叉熵）。对于某个训练样本${\mathbf{x}}_{\mathbf{k}},{\mathbf{y}}_{\mathbf{k}}$,则单个样本的均方误差（损失）为
  $$E_k=\frac{1}{2}\sum _{j=1}^l({\hat{y}}_j^k-y_j^k{)}^2$$

• 误差逆传播算法（BP）：基于随机梯度下降的参数更新算法
  $$\begin{gathered} \mathbf{w}\leftarrow \mathbf{w}+\Delta \mathbf{w} \\ \Delta \mathbf{w}=-\eta {▽}_{w}E \\ \eta :超参数，自己设置 \\ 其中只需要推导出{▽}_{w}E这个损失函数E关于参数w的一阶偏导数（梯度）即可（链式求导）。 \\ 由于NN(x)通常是及其复杂的非凸函数，不具备像凸函数这种良好的数学性质 \\ 因此随机梯度下降不能保证一定能走到全局最小值点，更多情况走到的都是局部极小值点 \end{gathered}$$