Ng深度学习笔记2 -逻辑回归、分类问题、牛顿迭代

最新推荐文章于 2022-08-12 21:17:12 发布

沉绪园

最新推荐文章于 2022-08-12 21:17:12 发布

阅读量997

点赞数

Hypothesis

线性模型并不能很好地用于分类问题，分类问题的结果多是离散且非线性的，这时需要构造新的模型函数，如下面这样的复合函数。

h θ (x) = g (θ T x) g (z) = 1 1 + e - z h θ (x) = 1 1 + e - θ T x

$h_\theta(x)=g(\theta^Tx) \\ g(z)=\frac{1}{1+e^{-z}} \\ h_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}$
通常将

g(z) $g(z)$ 叫做 sigmoid function（S型函数）或logistic function（逻辑函数）。复合以后，可以将原先的线性模型映射成S型，更好地服务于分类问题，其结果区间在

[0,1] $[0,1]$ 。我们把这类问题成为逻辑回归问题。

例子

用上述模型来描述肿瘤大小和良性/恶性的相关问题最为合适。 $[0,1]$ 代表了该肿瘤是否为良性/恶性的概率。如下式为特定 $x$ 和 $\theta$ 下恶性肿瘤（ $y=1$ ）的概率：

h θ (x) = P (y = 1 | x; θ)

$h_\theta(x) = P (y=1|x;\theta)$
则此时为良性肿瘤的概率为：

P (y = 0 | x; θ) = 1 - h θ (x)

$P(y=0|x;\theta) = 1-h_\theta(x)$

Cost Function

定义了逻辑回归函数，如果依法炮制最小二乘法来求 $\theta$ 值时并不理想，因为此时的 $J(\theta)$ 并非是凸函数，有很多的局部最小值，用梯度下降要找到全局最小是不现实的。

J (θ) = 1 m \sum i m c o s t (h θ (x i), y i)

$J(\theta)=\frac{1}{m} \sum_i^m cost(h_\theta(x_i), y_i)$
可以引入

−log(z) $-\log(z)$ 将

hθ $h_\theta$ 转换成需要的成本函数。

c o s t (h θ (x i), y i) = {- log (h θ (x)) - log (1 - h θ (x)) if y = 1 if y = 0

$cost(h_\theta(x_i), y_i) = \begin{cases} -\log(h_\theta(x)) & \quad \text{if } y=1\\ -\log(1-h_\theta(x)) & \quad \text{if } y=0\\ \end{cases}$
如图，
Logistic regression, cost function

可看出，

y=1 $y=1$ 时，如果

hθ(x) $h_\theta(x)$ 趋近于0，

J(θ) $J(\theta)$ 将趋近于无穷。

Vectorized Implementation

为了方便运算，更新参数的表达式需要改写为向量形式。我们的训练数据为 $(\boldsymbol x, \boldsymbol y)$ ，即 $(x_i,y_i), i=0,...,m$ 。如上定义的成本函数有个好的特性，就是求偏导的表达式和线性回归中的表达式形式一样。

θ' = θ - α \partial \partial θ J (θ) = θ - α m \sum i m ((h (x i) - y i) x i)

$\boldsymbol \theta' = \boldsymbol \theta - \alpha \frac{\partial}{\partial \boldsymbol \theta}J(\theta) \\ = \boldsymbol \theta - \frac{\alpha}{m}\sum_i^m \Big( \big (h(x_i)-y_i \big)x_i \Big)$

Newton Iteration

牛顿迭代法是一种更快的收敛方法。给定我们的成本函数，我们的目标是找到 $J(\theta)=0$ 的参数值 $\theta$ 。令 $f(x) = \frac{\partial}{\partial \theta} J(\theta)$ ，牛顿法为

θ' = θ - f ( θ ) f ' ( θ ) = θ - J ' ( θ ) J '' ( θ )

$\boldsymbol \theta' = \boldsymbol \theta - \frac{f(\boldsymbol\theta)}{f'(\boldsymbol\theta)} \\ = \boldsymbol \theta - \frac{J'(\boldsymbol\theta)}{J''(\boldsymbol\theta)}$
该法的向量形式可表述为，

θ' = θ - H - 1 \nabla θ J

$\boldsymbol \theta'= \boldsymbol \theta - \boldsymbol H^{-1} \nabla_\theta J$
此处

H $\boldsymbol H$ 为Hessian阵（二阶偏导），

∇θJ $\nabla_\theta J$ 为一阶偏导向量。

H = ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ H 0, 0 H 1, 0 ⋮ H n, 0 H 0, 1 H 1, 1 ⋮ H n, 1 \dots \dots ⋱ \dots H 0, n H 1, n ⋮ H n, n ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟

$\boldsymbol H = \begin{pmatrix} H_{0,0} & H_{0,1} & \cdots & H_{0,n} \\ H_{1,0} & H_{1,1} & \cdots & H_{1,n} \\ \vdots & \vdots & \ddots & \vdots \\ H_{n,0} & H_{n,1} & \cdots & H_{n,n} \end{pmatrix}$
其中，

H i, j = \partial 2 J \partial θ i \partial θ j

$H_{i,j} = \frac{\partial^2 J}{\partial \theta_i \partial \theta_j}$

\nabla θ J = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial J ( θ ) \partial θ 0 \partial J ( θ ) \partial θ 1 ⋮ \partial J ( θ ) \partial θ n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\nabla_\theta J = \begin{bmatrix} \frac{\partial J(\theta)}{\partial \theta_0}\\ \frac{\partial J(\theta)}{\partial \theta_1} \\ \vdots \\ \frac{\partial J(\theta)}{\partial \theta_n} \end{bmatrix}$