一.回归(regression)定义
找到一个函数 function ,通过输入特征x,输出一个数值 Scalar。
(理解:根据特征输出一个与输入内容相关但不同的输出内容)
二.步骤
1.模型假设,选择模型框架(线性模型)
- y=b+w⋅xcp(一元线性模型)
- y=b+∑wixi(多元线性模型)
- xi:各种特征
- wi:特征的权重
- b:偏移量
2.模型评估,判断模型好坏
使用损失函数(Loss function) 来衡量模型的好坏,统计原始数据的和,和越小模型越好。
3.模型优化,如何筛选最优的模型(梯度下降)
- 步骤1:随机选取一个 w^0w0
- 步骤2:计算微分,也就是当前的斜率,根据斜率来判定移动的方向
- 大于0向右移动(增加ww)
- 小于0向左移动(减少ww)
- 步骤3:根据学习率移动
- 重复步骤2和步骤3,直到找到最低点
三.模型优化——1元N次线性模型
1.出现过拟合问题
训练集十分优秀,但是测试集效果反而变差。更高次数的式子包含低次数的式子,越复杂的model set可以找到一个function使得error rate越低。
2.优化
step1.2个input的四个线性模型是合并到一个线性模型中
通过对特征判断,将 4个线性模型 合并到一个线性模型中
step2.加入更多特征,更多input,数据量没有明显增加
step3.加入正则化