吴恩达【机器学习】(1) 梯度下降

Supervised learning: 人主导的机器学习。
Unsupervised learning: 机器自主的学习。

Notation

m: Number of training examples
x: “intput” / features
y: “output” variable / “target” variable
(x, y): one training example
(y⁽ⁱ⁾, y⁽ⁱ⁾): i^th training example

Hypothesis: maps from x to y.

Cost Function

如何衡量问题的最优解？通过样本点偏移的平方和，最小值为最优。

Simplified（一个参数的问题）

h_θ(x) VS j(θ₁)

问题解函数，偏移差函数

多参数偏移差函数

Gradient Descent（梯度下降）

使用梯度下降求最优解。

使用微分（斜率），不断靠近最优解。

系数α选取，不可太大，也不可太小。

梯度下降与线性方程的结合

总结：

根据样本数据，以及θ₀、θ₁参数的变化，可以得到一个曲面(bowl-shape) j(θ₀、θ₁)，得到曲面后，再【反向求解】根据梯度下降得到最优解。

Reference

• machine-learning