训练集共m个样本,第i个样本 (x(i),y(i)),x(i)=(x(i)1,x(i)2,...,x(i)d)T ,即有d维特征。
线性回归模型
h(x)=w1x1+w2x2+...+wdxd+b
1.用向量表示
- 假设函数 Hypothesis:h(x)=wTx+b
- 参数 Parameters:w,b
- 损失函数 CostFunction:J(w,b)=12m∑mi=1(h(x(i))−y(i))2
- 优化目标 Goal:minimizeJ(w,b)
2.参数求解方法:
2.1Gradient Descent 梯度下降
步骤:
1.初始化 w1,w2...,wd,b
2.同步更新所有参数,使 J(w,b) 不断减小。( α 是学习率)
wj:=wj−α∂∂wjJ(w,b)(j=1,...,d)
b:=b−α∂