机器学习算法中的假设函数与损失函数以及梯度

最新推荐文章于 2024-08-08 18:49:01 发布

mstar1992

最新推荐文章于 2024-08-08 18:49:01 发布

阅读量6.4k

点赞数 6

分类专栏：机器学习

本文链接：https://blog.csdn.net/u013713117/article/details/53966564

版权

机器学习专栏收录该内容

7 篇文章 0 订阅

订阅专栏

线性回归：

假设函数
$h_\theta(x)=\theta^Tx$
损失函数
$J(\theta)=\frac{1}{2}\sum_{i=0}^m(h_\theta(x^i)-y^i)^2+\frac{1}{2}\lambda \sum_{j=0}^n\theta_j^2$
梯度
$\nabla_{\theta_j} J(\theta)=(y^i-h_\theta(x_j^i))x_j^{(i)}+\lambda \theta_j$
简易法
$\theta = (x^Tx+\lambda I)^{-1}x^Ty$

逻辑回归：

假设函数
$h_\theta(x)=g(\theta^Tx)=\frac{1}{1+exp(-\theta^Tx)}$
损失函数
$J(\theta)=-\frac{1}{m}[\sum_{i=0}^my^{(i)}logh_\theta(x^{(i)})+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]$
梯度
$\nabla_{\theta_j} J(\theta)=\frac{1}{m}(h_\theta(x_j^i)-y^i)x_j^{(i)}$

softmax回归：

假设函数

h θ (x (i)) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ p (y (i) = 1 | x (i); θ) p (y (i) = 2 | x (i); θ) ⋮ p (y (i) = k | x (i); θ) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = 1 \sum k j = 1 e θ T j x ( i ) ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ e θ T 1 x (i) e θ T 2 x (i) ⋮ e θ T k x (i) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\begin{align} h_\theta(x^{(i)}) = \begin{bmatrix} p(y^{(i)} = 1 | x^{(i)}; \theta) \\ p(y^{(i)} = 2 | x^{(i)}; \theta) \\ \vdots \\ p(y^{(i)} = k | x^{(i)}; \theta) \end{bmatrix} = \frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} } \begin{bmatrix} e^{ \theta_1^T x^{(i)} } \\ e^{ \theta_2^T x^{(i)} } \\ \vdots \\ e^{ \theta_k^T x^{(i)} } \\ \end{bmatrix} \end{align}$

损失函数

J (θ) = - 1 m ⎡ ⎣ \sum i = 1 m \sum j = 1 k 1 {y (i) = j} log e θ T j x ( i ) \sum k l = 1 e θ T l x ( i ) ⎤ ⎦ + λ 2 \sum i = 1 k \sum j = 0 n θ 2 i j

$\begin{align} J(\theta) = - \frac{1}{m} \left[ \sum_{i=1}^{m} \sum_{j=1}^{k} 1\left\{y^{(i)} = j\right\} \log \frac{e^{\theta_j^T x^{(i)}}}{\sum_{l=1}^k e^{ \theta_l^T x^{(i)} }} \right] + \frac{\lambda}{2} \sum_{i=1}^k \sum_{j=0}^n \theta_{ij}^2 \end{align}$

梯度
$\nabla θ j J (θ) = - 1 m \sum i = 1 m [x (i) (1 {y (i) = j} - p (y (i) = j | x (i); θ))] + λ θ j$ $\begin{align} \nabla_{\theta_j} J(\theta) = - \frac{1}{m} \sum_{i=1}^{m}{ \left[ x^{(i)} ( 1\{ y^{(i)} = j\} - p(y^{(i)} = j | x^{(i)}; \theta) ) \right] } + \lambda \theta_j \end{align}$

SVM

目标函数

$m i n 1 2 | | w | | 2 s . t y i (w T \cdot Φ (x i) + b) \geq 1 i = 1, 2, 3....., n$ $min\frac{1}{2}||w||^2\\s.t\quad y_i(w^T\cdot \Phi(x_i)+b)\ge1\quad i=1,2,3.....,n$
根据拉格朗日求极值的方法整理得：
$m i n α 1 2 \sum i = 0 n \sum j = 0 n α i α j y i y j (Φ (x i) \cdot Φ (x i)) - \sum i = 0 n α i s . t \sum i = 0 n α i y i = 0 α i \geq 0$ $min_\alpha\quad\frac{1}{2}\sum_{i=0}^n\sum_{j=0}^n\alpha_i\alpha_jy_iy_j(\Phi(x_i)\cdot\Phi(x_i))-\sum_{i=0}^n \alpha_i\\s.t\quad\sum_{i=0}^n\alpha_iy_i=0\\\quad\quad\alpha_i\ge0$
增加松弛因子后目标函数变为：
$m i n 1 2 | | w | | 2 + C \sum i = 0 n ξ i s . t y i (w T \cdot Φ (x i) + b) \geq 1 - ξ i ξ i \geq 0$ $min\frac{1}{2}||w||^2+C\sum_{i=0}^n\xi_i\\s.t\quad y_i(w^T\cdot \Phi(x_i)+b)\ge1-\xi_i\quad\\\quad\quad\xi_i\ge0\quad$
根据拉格朗日求极值的方法整理得：
$m i n α 1 2 \sum i = 0 n \sum j = 0 n α i α j y i y j (Φ (x i) \cdot Φ (x i)) - \sum i = 0 n α i s . t \sum i = 0 n α i y i = 0 0 \leq α i \leq C$ $min_\alpha\quad\frac{1}{2}\sum_{i=0}^n\sum_{j=0}^n\alpha_i\alpha_jy_iy_j(\Phi(x_i)\cdot\Phi(x_i))-\sum_{i=0}^n \alpha_i\\s.t\quad\sum_{i=0}^n\alpha_iy_i=0\\\quad\quad0\le\alpha_i\le C$
损失函数
$L(y)=\frac{1}{m}\sum_{i=0}^mmax(0,1−y^{(i)}\hat y^{(i)})$

总结：
线性回归是最小二乘损失： $L(y,\hat y)=\frac{1}{m}\sum_{i=0}^m(y^{(i)}-\hat y^{(i)})^2$
逻辑回归与softmax回归是交叉熵损失： $L(y,\hat y)=-\frac{1}{m}\sum_{i=0}^my^{(i)}log\hat y^{(i)}$
SVM是hinge损失： $L(y)=\frac{1}{m}\sum_{i=0}^mmax(0,1−y^{(i)}\hat y^{(i)})$