写笔记,便于记忆,回顾。写的不好的地方,后面再补充。
Simplified Cost Function and Gradient Descent
基于上篇得到的梯度下降算法:
如果有n个特征。则
当使用梯度下降法来实现逻辑回归时, 针对 θ0 到 θn, 我们需要用这个表达式来更新这些参数。 可以使用 for 循环来更新这些参数值, 用 for i=1 to n, 或者 for i=1 to n+1。 我们更提倡使用向量化的实现, 可以把所有这些 n 个参数同时更新。
我们之前在谈线性回归时讲到的特征缩放,特征缩放可以提高梯度下降的收敛速度, 这个特征缩放的方法, 也适用于逻辑回归。 如果你的特征范围差距很大的话, 那么应用特征缩放的方法, 同样也可以让逻辑回归中, 梯度下降收敛更快。
这里放入推导过程。以备检验
这里列出线性回归的代价函数。
Advanced(高级的) Optimization
用梯度下降的方法最小化逻辑回归中代价函数 J(θ)。 如何通过梯度下降, 使逻辑回归的速度大大提高, 而这也将使算法更加适合解决大型数据的机器学习问题。
现在我们换个角度来看什么是梯度下降, 我们有个代价函数 J(θ), 而我们想要使其最小化, 那么我们需要做的是编写代码, 当输入参数 θ 时, 它们会计算出两样东西: J(θ) 以及 J等于 0、 1 直到 n 时的偏导数项。
1
2