网易公开课 斯坦福大学公开课：机器学习课程 notes

Supervised Learning

 

Linear regression 

①  梯度下降算法

J(θ) = 1/2 * (hθ(x) - y)^2 + ....  // for (x1, y1) -> (xm, ym)

θi := θi - α * δ/δθi J(θ)

 

②  批（batch）梯度下降； 随机梯度下降（增量梯度下降）

 

 

③  计算矩阵化（代码运算矩阵化）

▽θ J(θ) = XT * Xθ - XT * y  set= 0  // 设偏导数为 0 ，即 J(θ) 的最低点

-> θ = (XT * X) ^ -1 * XT * y

// 矩阵化的好处是通过矩阵运算（而不是梯度下降算法）就求出 θ ，速度快