在第1章至第4章中,主要讲了线性回归模型、逻辑回归模型、正则化的线性回归模型和正则化的逻辑回归模型,不管哪个模型,都离不开几个主要的参数:假设函数,代价函数,梯度下降算法。下面对其中的重要公式进行一个小结。
1. 线性回归模型(Linear Regression Model)
(1)假设函数(Hypothesis Function)
hθ(x)
:
(2)代价函数(Cost Function)
J(θ)
:
(3)梯度下降算法(Gradient Descent):
(4)正规方程(Normal Equation)
- 假设函数(Hypothesis Function)矩阵形式
hθ(x)
:
Xθ=y - 最优参数解
2. 逻辑回归模型(Logistic Regression Model)
(1)假设函数(Hypothesis Function)
hθ(x)
:
(2)代价函数(Cost Function)
J(θ)
:
(3)梯度下降算法(Gradient Descent):
可以发现,线性回归和逻辑回归的梯度下降算法在形式上看似是一样的,只是其中的假设函数hθ(x)不同,一个是线性模型(多项式),一个是非线性模型(Sigmoid函数),所以本质上是不一样的。
3. 正则化线性回归模型(Regularized Linear Regression Model)
(1)假设函数(Hypothesis Function)
hθ(x)
:
(2)代价函数(Cost Function) J(θ) :
(3)梯度下降算法(Gradient Descent):
Notes: 正则化不对第一个参数项 θ0 进行正则化,只对后面的参数进行正则化。
(4)正规方程(Normal Equation)
- 假设函数(Hypothesis Function)矩阵形式
hθ(x)
:
Xθ=y - 最优参数解
4. 正则化逻辑回归模型(Regularized Logistic Regression Model)
(1)假设函数(Hypothesis Function)
hθ(x)
:
(2)代价函数(Cost Function) J(θ) :
(3)梯度下降算法(Gradient Descent):
Notes: 正则化不对第一个参数项 θ0 进行正则化,只对后面的参数进行正则化。