第一步 Model写出 linear model线性方程
第二步判断方程好坏
并计算上LOSS function 大写L表示 越蓝色越好
第三步找最好的函数
求误差 直接找误差最小值 在一些复杂情况下不好用 这里采用Gradient Descent梯度下降
1随机选取一个初始点w0
2求L0在w0处的微分(切线斜率)负的往右走 正的往左走
3如果移动的话 要有移动距离 stepsize 取决于W0处的微分 和定好的常量learning rate 如果该常量大 移动的快 学习得就快
4经过多次interation(迭代)得到local optimal(在linear regression其实不存在 因为是convex(凸出)的图像 )
如果想要更好的拟合 需要Selecting another Model
引入X的二次方 三次方 四次方 本数据 到达三次方的时候 拟合最好 四次方变得更差
Overfitting过拟合 model不是越复杂越好
对于数据 对于不同类别的数据 应该设计对应的modal
smoother(光滑的) Regularization(规范化)
原来的L只考虑了loss 新的加上了常量𝜆 乘上微分 为了求得最smoother的model
smoother的函数能让数值变化对影响的结果较小