线性回归、逻辑回归、正则化小结

最新推荐文章于 2024-09-21 09:47:11 发布

A_waken

最新推荐文章于 2024-09-21 09:47:11 发布

阅读量744

点赞数

文章标签：线性回归正则化逻辑回归

本文链接：https://blog.csdn.net/weixin_42900928/article/details/86756792

版权

机器学习笔记专栏收录该内容

11 篇文章 0 订阅

订阅专栏

小结（一）

学了两周，整理一下笔记。

课程笔记总览传送门：https://blog.csdn.net/weixin_42900928/article/details/86523192

1.线性回归

1.1 无正则化

（1）假设函数

一般形式： $h_{\theta}(x)=\theta_{0}+\theta_{1}x_{1}+\theta_{2}x_{2}+...+\theta_{n}x_{n}$

为了方便实现，转换为矩阵形式：

$h_{\theta}(x)=\theta_{0}x_{0}+\theta_{1}x_{1}+\theta_{2}x_{2}+...+\theta_{n}x_{n}=\theta^{T}x=[\theta_{0},\theta_{1},\theta_{2},...,\theta_{n}][x_{0},x_{1},x_{2},...,x_{n}]^{T}$

（2）代价函数

$J(\theta)=\tfrac{1}{2m}\sum ^{m}_{i=1}(h_{\theta}(x^{i})-y^{(i)})^{2}= \tfrac{1}{2m}\sum ^{m}_{i=1}(\theta_{0}+\theta_{1}x^{(i)}+...+\theta_{n}x^{i}-y^{(i)})^{2}$

（3）梯度下降

$\theta_{0}$ 和其它 $\theta_{}$ 分别考虑。

$\theta_{0}:\theta_{0}-\alpha\tfrac{1}{m}\sum _{i=1}^{m}(h_{\theta}(x^{i})-y^{(i)})x_{0}^{(i)}\: \: (x_{0}^{(i)}=1)$ ;

$\theta_{j}:\theta_{j}-\alpha\tfrac{1}{m}\sum _{i=1}^{m}(h_{\theta}(x^{i})-y^{(i)})x_{j}^{(i)}$

注：——学习率 $\alpha$ 后看似毫无道理的数学公式其实是 $\frac{\partial }{\partial \theta_{j}}J(\theta)$ 的结果；

——同时迭代。

——每个 $\theta_{j}$ 内部都是一个loop。

（4）正规方程

$\theta=(X^{T}X)^{-1}X^{T}y$ （X 又称设计矩阵）

注：再次提醒，这里的 $\theta$ 是 (n+1) x 1 的矩阵；X 是 m x (n+1) 的矩阵（包含x0=1）；y 是 m x 1的矩阵。（都是矩阵！！！）

1.2 正则化

（1）假设函数

不变

（2）代价函数

$J(\theta)=\tfrac{1}{2m}[\sum ^{m}_{i=1}(h_{\theta}(x^{i})-y^{(i)})^{2}{\color{Red} +\lambda\sum_{j=1}^{n}\theta_{j}^{2}}]$

（3）梯度下降

$\theta_{0}:\theta_{0}-\alpha\tfrac{1}{m}\sum _{i=1}^{m}(h_{\theta}(x^{i})-y^{(i)})x_{0}^{(i)}\: \: (x_{0}^{(i)}=1)$

$\theta_{j}:\theta_{j}-\alpha[\tfrac{1}{m}\sum _{i=1}^{m}(h_{\theta}(x^{i})-y^{(i)})x_{j}^{(i)}{\color{Red} +\frac{\lambda}{m}\theta_{j}}]$ $=\theta_{j}(1{\color{Red} -\alpha\frac{\lambda}{m}})-\alpha\tfrac{1}{m}\sum _{i=1}^{m}(h_{\theta}(x^{i})-y^{(i)})x_{j}^{(i)}$

（4）正规方程

$\theta=(X^{T}X{\color{Red} +\lambda\begin{bmatrix} 0 & & & \\ & 1 & & &\\ & & 1 & &\\ & & & ... &\\ & & & & 1 \end{bmatrix}})^{-1}X^{T}y$

2.逻辑回归

2.1 无正则化

（1）假设函数

$h_{(\theta)}x=\frac{1}{1+e^{-\theta^{T}}x}$

（2）代价函数

$J(\theta)=-\frac{1}{m}[\sum_{i=1}^{m}y^{(i)}logh_{\theta}(x^{(i)})+(1-y^{(i)})log(1-h_{\theta}(x^{(i)})]$

（3）梯度下降

$\theta_{0}$ 和其它 $\theta_{}$ 分别考虑。

$\theta_{0}:\theta_{0}-\alpha\tfrac{1}{m}\sum _{i=1}^{m}(h_{\theta}(x^{i})-y^{(i)})x_{0}^{(i)}\: \: (x_{0}^{(i)}=1)$ ;

$\theta_{j}:\theta_{j}-\alpha\tfrac{1}{m}\sum _{i=1}^{m}(h_{\theta}(x^{i})-y^{(i)})x_{j}^{(i)}$

（4）高级算法

BFGS、L-BFGS

2.2 正则化

（1）假设函数

$h_{(\theta)}x=\frac{1}{1+e^{-\theta^{T}}x}$

（2）代价函数

$J(\theta)=-\frac{1}{m}[\sum_{i=1}^{m}y^{(i)}logh_{\theta}(x^{(i)})+(1-y^{(i)})log(1-h_{\theta}(x^{(i)}){\color{Red} +\lambda\sum_{j=1}^{n}\theta_{j}^{2}}]$