吴恩达机器学习笔记（二）

最新推荐文章于 2023-12-19 20:13:56 发布

舒克起飞了

最新推荐文章于 2023-12-19 20:13:56 发布

阅读量56

点赞数

文章标签：机器学习笔记人工智能

本文链接：https://blog.csdn.net/qq_46573670/article/details/131775924

版权

平均归一化（mean normalization）

标准差归一化（Z-score normalization）

多维特征

跟之前相比我们不再只是两个特征，而是多个特征来进行影响。

$x_{j} = j^{th}$ 特征

$n =$ 特征数量

$\vec{x}^{(i)} =$ 第i个训练特征

原先的模型： $f_{w,b}(x) = wx + b$

多个特征后： $f_{w,b}(x) = w_{1}x_{1} + w_{2}x_{2}+\cdots +w_{n}x_{n} + b$

向量化

向量化的含义：

参数和特征：

$\vec{w} = [w_{1}\; w_{2}\; w_{3}]$

$\vec{x} = [x_{1}\; x_{2}\; x_{3}]$

没有矢量化：

$f_{\vec{w},b}(\vec{x}) = \sum_{j=1}^{n}w_{j}x_{j} + b$

f = 0
for j in range(0,n):
    f = f + w[j] * x[j]
f = f + b

矢量化：

$f_{\vec{w},b}(\vec{x}) = \vec{w}\cdot \vec{x} + b$

f = np.dot(w,x) + b

用于多元线性回归的梯度下降法

	先前的符号	现在的符号
参数	$w_{1},\cdots ,w_{n},b$	$\vec{w} = [w_{1}\; \cdots \; w_{n}]\; b$
模型	$f_{\vec{w},b}(\vec{x}) = w_{1}x_{1}+\cdots +w_{n}x_{n}+b$	$f_{\vec{w},b}(\vec{x})=\vec{w}\cdot \vec{x}+b$
代价函数	$J(w_{1},\cdots ,w_{n},b)$	$J(\vec{w},b)$
梯度下降	$w_{j}=w_{j}-\alpha \frac{\partial }{\partial w_{j}}J(w_{1},\cdots ,w_{n},b)$ $b = b-\alpha \frac{\partial }{\partial b}J(w_{1},\cdots ,w_{n},b)$	$w_{j}=w_{j}-\alpha \frac{\partial }{\partial w_{j}}J(\vec{w},b)$ $b=b-\alpha \frac{\partial }{\partial b}J(\vec{w},b)$
用于多元线性回归的梯度下降法	$w=w-\alpha \tfrac{1}{m}\sum_{i=1}^{m}(f_{w,b}(x^{(i)})-y^{(i)})x^{(i)}$ $b=b-\tfrac{1}{m}\sum_{i=1}^{m}(f_{w,b}(x^{(i)})-y^{(i)})$	$w_{1}=w_{1}-\alpha \tfrac{1}{m}\sum_{i=1}^{m}(f_{w,b}(x^{(i)})-y^{(i)})x_{1}^{(i)}$ $\vdots$ $w_{n}=w_{n}-\alpha \tfrac{1}{m}\sum_{i=1}^{m}(f_{w,b}(x^{(i)})-y^{(i)})x_{n}^{(i)}$ $b=b-\tfrac{1}{m}\sum_{i=1}^{m}(f_{w,b}(x^{(i)})-y^{(i)})$

特征缩放

示例说明：

平均归一化（mean normalization）

$x=\tfrac{x-\mu }{max-min}$ μ是指x的平均值

标准差归一化（Z-score normalization）

$x=\tfrac{x-\mu }{\sigma }$ μ是指x的平均值， $\sigma$ 是指x的方差

判断梯度下降是否收敛

x轴是梯度下降算法的迭代次数，y轴是成本函数J的值；梯度下降算法目的假设找到一组w和b，让成本函数J最小；学习曲线可以帮助我们查看成本函数J如何变化，当算法正常运行时，成本函数J在每次迭代后都会减少，当其在一次迭代后增加了，那就说明学习率α选的有点大，或者代码有问题；当学习曲线平坦时，梯度下降算法收敛。