问题 | 描述 | 表达式描述 | 表达式 |
---|---|---|---|
单变量线性回归 | 只含有一个特征/输入变量 | 一元一次表达式 | |
多变量线性回归 | 含有多个特征/输入变量 | 多元一次函数 | |
多项式回归 | 含有多个特征/输入变量 | 多元多次函数 | |
逻辑回归 | 含有多个离散输出,解决分类问题 | sigmoid函数 | |
过拟合 | 有效适应训练集,但泛化性能差 | 1、剔除一些不必要特征,如PCA 2、正则化,保留所有特征,但减少参数的大小 |
问题 | 梯度下降 |
---|---|
单变量线性回归 |
|
多变量线性回归 |
特征缩放: 学习率: |
逻辑回归 | 等价于 求偏导得: |
正则化 | 修改代价函数: 令λ值很大,为了使cost function很小,所有θ(不包括θ0)都会一定程度较少。 |
正则化线性回归 | |
正则化逻辑回归 |