【机器学习-学习笔记】单/多变量线性回归、多项式回归、逻辑回归、过拟合、正则化

问题	描述	表达式描述	表达式
单变量线性回归	只含有一个特征/输入变量	一元一次表达式
多变量线性回归	含有多个特征/输入变量	多元一次函数
多项式回归	含有多个特征/输入变量	多元多次函数
逻辑回归	含有多个离散输出，解决分类问题	sigmoid函数
过拟合	有效适应训练集，但泛化性能差		1、剔除一些不必要特征，如PCA 2、正则化，保留所有特征，但减少参数的大小

问题	梯度下降
单变量线性回归
多变量线性回归	特征缩放： 学习率：
逻辑回归	等价于 求偏导得：
正则化	修改代价函数： 令λ值很大，为了使cost function很小，所有θ（不包括θ0）都会一定程度减少。
正则化线性回归
正则化逻辑回归