李宏毅机器学习笔记(一)Regression

第一步 Model写出 linear model线性方程

第二步判断方程好坏

并计算上LOSS function 大写L表示 越蓝色越好

 

第三步找最好的函数

求误差 直接找误差最小值 在一些复杂情况下不好用 这里采用Gradient Descent梯度下降

 

1随机选取一个初始点w0

2求L0在w0处的微分(切线斜率)负的往右走 正的往左走

3如果移动的话 要有移动距离 stepsize 取决于W0处的微分 和定好的常量learning rate 如果该常量大  移动的快 学习得就快

4经过多次interation(迭代)得到local optimal(在linear regression其实不存在 因为是convex(凸出)的图像 )

如果想要更好的拟合 需要Selecting another Model

引入X的二次方 三次方 四次方 本数据 到达三次方的时候 拟合最好 四次方变得更差

Overfitting过拟合 model不是越复杂越好

对于数据 对于不同类别的数据 应该设计对应的modal

smoother(光滑的)  Regularization(规范化)

原来的L只考虑了loss 新的加上了常量𝜆 乘上微分 为了求得最smoother的model

smoother的函数能让数值变化对影响的结果较小

 

 

 

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值