欢迎点击作者原文地址
week1:单变量的线性回归+梯度下降法
2017/3/7
week1
supervise learing
监督学习分为两类:分类和回归
分类是将输入变量(feature/attribute)映射成为离散的输出结果,回归是将输入变量映射成为连续的输出结果
2017/3/8 cost function
- cost fuction 就是squared error function ,如果把y看作是一个变量的话,那就squared error其实就是它的方差(借此理解)。cost function 就是一半的SEF
J(θ0,θ1)=12m∑i=1m(y^−yi)2=12m∑i=1m(hθ(x(i)−y(i))2
hypothesisfunction vs costfunction
hypothesi function hθ1(x) 是 x 的函数,
θ 是固定的
cost function J(θ1) 是 θ1 的函数
2017/3/9 Gradient Descent
梯度下降法 ,来寻找使得目标函数最小的参数
minθ0,θ1J(θ0,θ1)
a. 寻找到的是 局部最优解,初始值不同,得到的最小值也可能不同。不过在线性回归中,因为cost function 是一个bowl shape(convex shape),所以找到的总是全局最优。注意,仅在linear regression!!
b.
repeat {
θj:=θj−α∂J(θ0,θ1)∂θj
}
其中, α 是一个learing rate (理解为下降的幅度)
c. 参数一定是同时变化的,simutineously update
temp0 := θ0−α∂J(θ0,θ1)∂θ0
temp1 := θ1−α∂J(θ0,θ1)∂θ1
θ0 :=temp0
θ1 :=temp1
d. 对于learning rate α 来说,有这么几点需要注意: 首先,不能取得太大,太大会overshoot,偏离最小值(越小则速度越慢)。 其次, α 不用变动,取固定值即可。因为越靠近斜率就越小(右边部分),偏导部分 ∂J∂α 是一直在变小的,或者说是不断地向0靠拢。 最后,当初始值就在最小值处事,偏导为0,参数经过迭代也不会产生变化。