本文为吴恩达机器学习视频听课笔记,仅记录课程大纲及对于部分关键点、疑难点的理解。
课程链接: 吴恩达机器学习.
说明:这篇博客已经躺在草稿箱里很久了 由于整理公式等耗费大量时间 仅仅梳理了前 7章的内容 后续内容若有时间再做整理
目录
Chapter1 绪论
本章主要介绍了机器学习的定义、算法分类及应用场景。
Chapter2 单变量线性回归
模型表示
- 符号说明
项目 | Value |
---|---|
m | Number of training examples |
x’s | “input” variable |
y’s | “output” variable |
(x,y) | one training example |
( x ( i ) x^{(i)} x(i), y ( i ) y^{(i)} y(i)) | the i t h i^{th} ith training example |
-
监督学习算法工作过程
-
Linear Regression Model
h θ ( x ) = θ 0 + θ 1 x h_{θ}(x)=θ_0+θ_1x hθ(x)=θ0+θ1x
J ( θ 0 , θ 1 ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 \mathrm J(θ_0,θ_1)=\cfrac {1}{2m}\displaystyle\sum_{i=1}^m(h_{θ}(x^{(i)})-y^{ {(i)}})^{2} J(θ0,θ1)=2m1i=1∑m(hθ(x(i))−y(i))2
代价函数
项目 | Value |
---|---|
假设函数 | h θ ( x ) = θ 0 + θ 1 x h_{θ}(x)=θ_0+θ_1x hθ(x)=θ0+θ1x |
参数 | θ 0 θ_0 θ0, θ 1 θ_1 θ1 |
代价函数 | J ( θ 0 , θ 1 ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 \mathrm J(θ_0,θ_1)=\cfrac {1}{2m}\displaystyle\sum_{i=1}^m(h_{θ}(x^{(i)})-y^{ {(i)}})^{2} J(θ0,θ1)=2m1i=1∑m(hθ(x(i))−y(i))2 |
目标 | m i n i m i z e J ( θ 0 , θ 1 ) {minimize} \mathrm J(θ_0,θ_1) minimizeJ(θ0,θ1) |
注意:
- 选择合适的 θ 0 θ_0 θ0,和 θ 1 θ_1 θ1使得假设函数表示的直线更好地与数据点拟合,定义为最小化问题
- 代价函数中,系数为 1 2 \cfrac {1}{2} 21,目的是在梯度下降时便于求解
梯度下降
- 定义:
repeat until convergence{
θ j : = θ j − α ∂ ∂ θ j J ( θ 0 , θ 1 ) θ_j:= θ_j-α\cfrac {\partial}{\partialθ_j}\mathrm J(θ_0,θ_1) θj:=θj−α∂θj∂J(θ0,θ1) (for j=0 and j=1)
} - 关于α(学习率)
(1)学习率表示在控制梯度下降时,以多大的幅度更新参数(采用同时更新的方法,即 θ 0 θ_0 θ0和 θ 1 θ_1 θ1同时更新)
(2)if α is too small, gradient descent can be slow
(3)if α is too large, gradient descent can overshoot the minimum. It may fail to converge, or even diverge.
线性回归中的梯度下降
-
线性回归模型
h θ ( x ) = θ 0 + θ 1 x h_{θ}(x)=θ_0+θ_1x hθ(x)=θ0+θ1x
J ( θ 0 , θ 1 ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 \mathrm J(θ_0,θ_1)=\cfrac {1}{2m}\displaystyle\sum_{i=1}^m(h_{θ}(x^{(i)})-y^{ {(i)}})^{2} J(θ0,θ1)=2m1i=1∑m(hθ(x(i))−y(i))2
-
梯度下降算法
repeat until convergence{
θ j : = θ j − α ∂ ∂ θ j J ( θ 0 , θ 1 ) θ_j:= θ_j-α\cfrac {\partial}{\partialθ_j}\mathrm J(θ_0,θ_1) θj:=θj−α∂θj∂J(θ0,θ1) (for j=0 and j=1)
} -
Apply gradient descent to minimize squared error cost function
求偏导:
∂ ∂ θ j J ( θ 0 , θ 1 ) = ∂ ∂ θ j 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 = ∂ ∂ θ j 1 2 m ∑ i = 1 m ( θ 0 + θ 1 x ( i ) − y ( i ) ) 2 \cfrac {\partial}{\partialθ_j}\mathrm J(θ_0,θ_1)=\cfrac {\partial}{\partialθ_j}\cfrac {1}{2m}\displaystyle\sum_{i=1}^m(h_{θ}(x^{(i)})-y^{ {(i)}})^{2}=\cfrac {\partial}{\partialθ_j}\cfrac {1}{2m}\displaystyle\sum_{i=1}^m(θ_0+θ_1x^{(i)}-y^{ {(i)}})^{2} ∂θj∂J(θ0,θ1)=∂θj∂2m1i=1∑