我的机器学习之路-Regression(二)

最新推荐文章于 2018-12-06 14:13:14 发布

暮雨橙海

最新推荐文章于 2018-12-06 14:13:14 发布

阅读量234

点赞数

分类专栏：机器学习文章标签：机器学习数据回归分析机器学习实战

本文链接：https://blog.csdn.net/qq_36130482/article/details/72833030

版权

机器学习专栏收录该内容

15 篇文章 0 订阅

订阅专栏

线性回归的不足

对于如同上节所示的房价问题，
房价随房间面积的变化的关系
房间面积为连续型变量，房价也是连续型的变量，可以用线性回归来处理。但是特征和标签也有可能为离散型的变量，此时按照线性回归就会出现问题，如下所示肿瘤为良性还是恶性与肿瘤面积的关系。
这里写图片描述
在上图中假设这条绿色的线为线性回归得到的结果，可以通过选取一个肿瘤大小作为分界值小于某个值为良性，否则就为恶性

但是如果有下面这样一组数据

这里写图片描述
如上如所示在这种情况下，有一个相对游离的点，会导致拟合直线斜率变得很大，单纯的按照x的位置分类，就会导致错误，因此需要另一种方法。

logistic regression

上面的问题很明显，结果只有两类，要么是0要么是1，因此可以找到相应的预测函数，sigmoid函数。
函数为 $g(z)=\frac{1}{1+e^{-z}}$ , $g(z)$ 关于z的导数如下

\partial g ( z ) \partial θ = \partial \partial θ 1 1 + e - z = 1 1 + e - z (1 - 1 1 + e - z) = g (z) (1 - g (z))

$\begin{align} \frac{\partial g(z)}{\partial \theta}&=\frac{\partial }{\partial \theta} \frac{1}{1+e^{-z}} \\ &=\frac{1}{1+e^{-z}} (1-\frac{1}{1+e^{-z}}) \\ &=g(z)(1-g(z)) \end{align}$

这里写图片描述

在这里假设函数为 $h_{\theta }(x) = g(\theta ^{T}X)$ ，同时假设 $h_{\theta }(x)$ 为结果为1的概率，从个人理解来说，因为在后面的分类过程中， $h_{\theta }(x)$ 大于0.5时就将结果置为一，小于0.5时结果为0，所以如下所示

p (y = 1 | x; θ) = h θ (x)

$\ p(y=1 | x;\theta) = h_{\theta }(x)$

p (y = 0 | x; θ) = 1 - h θ (x)

$\ p(y=0 | x;\theta) =1- h_{\theta }(x)$

上面两式综合起来为得到下面的式子

p (y | x; θ) = (h θ (x)) y + (1 - h θ (x)) 1 - y

$\ p(y|x;\theta) = (h_{\theta }(x))^{y}+(1- h_{\theta }(x))^{1-y}$

由于所有样本中数据服从（0-1分布）且相互独立。我们假设有M个样本

L (θ) = p (Y | X; θ) = \prod j = 0 m p (y (j) | x (j); θ) = \prod j = 0 m (h θ (x (j))) y (j) (1 - h θ (x (j))) 1 - y (j)

$\begin{align} L(\theta) &= p(Y|X;\theta) \\ &=\prod_{j=0} ^{m}p(y^{(j)}|x^{(j)};\theta) \\ &=\prod_{j=0} ^{m}(h_{\theta }(x^{(j)}))^{y^{(j)}}(1- h_{\theta }(x^{(j)}))^{1-y^{(j)}} \\ \end{align}$

为方便运算，用log对运算进行简化

l (θ) = l o g (L (θ)) = l o g (\prod j = 0 m (h θ (x (j))) y (j) (1 - h θ (x (j))) 1 - y (j)) = \sum j = 0 m y (j) l o g (h θ (x (j))) + (1 - y (j)) l o g (1 - h θ (x (j)))

$\begin{align} l (\theta) &= log(L(\theta) ) \\ &=log(\prod_{j=0} ^{m}(h_{\theta }(x^{(j)}))^{y^{(j)}}(1- h_{\theta }(x^{(j)}))^{1-y^{(j)}}) \\ &=\sum_{j=0} ^{m}y^{(j)}log(h_{\theta }(x^{(j)}))+(1-y^{(j)})log(1-h_{\theta }(x^{(j)})) \end{align}$

接下来使用梯度上升法，求似然函数的最大值，与线性回归相同符号意义相同。为方便计算先去掉求和运算。

θ = θ + a ▽ θ l (θ)

$\ \theta =\theta+a \bigtriangledown _{\theta}l (\theta)$

▽ θ i l (θ) = ▽ θ (y l o g (g (θ T X)) + (1 - y) l o g (1 - g (θ T X))) = (y 1 g ( θ T X ) + (1 - y) 1 1 - g ( θ T X )) \partial \partial θ g (θ T X) = (y - h (θ T X)) x i

$\begin{align} \bigtriangledown _{\theta _{i}}l (\theta) &=\bigtriangledown _{\theta}(ylog(g(\theta^{T} X))+(1-y)log(1-g(\theta^{T} X)))\\ &=(y\frac{1}{g(\theta^{T} X)}+(1-y)\frac{1}{1-g(\theta^{T} X)})\frac{\partial }{\partial \theta} g(\theta^{T} X) \\ &=(y-h(\theta^{T} X))x _{i} \end{align}$
带入到梯度上升法

θ i = θ i + a \sum j = 0 m (y (j) - h (θ T X (j))) x j i = θ i + a [x 1 i x 2 i . . . x m i] ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ y (1) - h (θ T X (1)) y (2) - h (θ T X (2)) . . . y (m) - h (θ T X (m)) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$\begin{align} \ \theta_{i} &=\theta_{i}+a \sum_{j=0} ^{m}(y^{(j)}-h(\theta^{T} X^{(j)}))x _{i}^{j} \\ &=\theta_{i}+a\ \begin{bmatrix} x _{i}^{1}& x _{i}^{2}&...&x _{i}^{m} \end{bmatrix} \begin{bmatrix} y^{(1)}-h(\theta^{T} X^{(1)}) \\ y^{(2)}-h(\theta^{T} X^{(2)})\\ ...\\ y^{(m)}-h(\theta^{T} X^{(m)}) \end{bmatrix} \end{align}$

将上式写成矩阵形式：

⎡ ⎣ ⎢ ⎢ ⎢ θ 1 θ 2 . . . θ n ⎤ ⎦ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ θ 1 θ 2 . . . θ n ⎤ ⎦ ⎥ ⎥ ⎥ + ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ a \sum j = 0 m (y (j) - h (θ T X (j))) x j 0 a \sum j = 0 m (y (j) - h (θ T X (j))) x j 1 . . . a \sum j = 0 m (y (j) - h (θ T X (j))) x j n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ θ 1 θ 2 . . . θ n ⎤ ⎦ ⎥ ⎥ ⎥ + ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ x 10 x 11 . . . x 1 n x 20 x 21 x 2 n . . . . . . . . . x m 0 x m 1 x m n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ y (1) - h (θ T X (1)) y (2) - h (θ T X (2)) . . . y (m) - h (θ T X (m)) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$\begin{align} \ \begin{bmatrix} \theta _{1} \\ \theta _{2}\\ ...\\ \theta _{n} \end{bmatrix} &=\begin{bmatrix} \theta _{1} \\ \theta _{2}\\ ...\\ \theta _{n}\end{bmatrix}+ \begin{bmatrix} \ a\sum_{j=0} ^{m}(y^{(j)}-h(\theta^{T} X^{(j)}))x _{0}^{j} \\ a\sum_{j=0} ^{m}(y^{(j)}-h(\theta^{T} X^{(j)}))x _{1}^{j} \\ ...\\ a\sum_{j=0} ^{m}(y^{(j)}-h(\theta^{T} X^{(j)}))x _{n}^{j} \end{bmatrix} \\ &=\begin{bmatrix} \theta _{1} \\ \theta _{2}\\ ...\\ \theta _{n}\end{bmatrix}+ \begin{bmatrix} x _{0}^{1}& x _{0}^{2}&...&x _{0}^{m}\\ x _{1}^{1}& x _{1}^{2}&...&x _{1}^{m}\\ ...\\ x _{n}^{1}& x _{n}^{2}&...&x _{n}^{m} \end{bmatrix}\begin{bmatrix} y^{(1)}-h(\theta^{T} X^{(1)}) \\ y^{(2)}-h(\theta^{T} X^{(2)})\\ ...\\ y^{(m)}-h(\theta^{T} X^{(m)}) \end{bmatrix} \end{align}$
令

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ y (1) - h (θ T X (1)) y (2) - h (θ T X (2)) . . . y (m) - h (θ T X (m)) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ = E

$\begin{align} \begin{bmatrix} y^{(1)}-h(\theta^{T} X^{(1)}) \\ y^{(2)}-h(\theta^{T} X^{(2)})\\ ...\\ y^{(m)}-h(\theta^{T} X^{(m)}) \end{bmatrix} =E \end{align}$
故得到