机器学习3补充

写笔记，便于记忆，回顾。写的不好的地方，后面再补充。

Simplified Cost Function and Gradient Descent

基于上篇得到的梯度下降算法：

如果有n个特征。则
当使用梯度下降法来实现逻辑回归时， 针对 θ0 到 θn， 我们需要用这个表达式来更新这些参数。 可以使用 for 循环来更新这些参数值， 用 for i=1 to n， 或者 for i=1 to n+1。 我们更提倡使用向量化的实现， 可以把所有这些 n 个参数同时更新。

我们之前在谈线性回归时讲到的特征缩放，特征缩放可以提高梯度下降的收敛速度， 这个特征缩放的方法， 也适用于逻辑回归。 如果你的特征范围差距很大的话， 那么应用特征缩放的方法， 同样也可以让逻辑回归中， 梯度下降收敛更快。

---

这里放入推导过程。以备检验
这里列出线性回归的代价函数。

---

Advanced(高级的) Optimization

用梯度下降的方法最小化逻辑回归中代价函数 J(θ)。 如何通过梯度下降， 使逻辑回归的速度大大提高， 而这也将使算法更加适合解决大型数据的机器学习问题。
现在我们换个角度来看什么是梯度下降， 我们有个代价函数 J(θ)， 而我们想要使其最小化， 那么我们需要做的是编写代码， 当输入参数 θ 时， 它们会计算出两样东西： J(θ) 以及 J等于 0、 1 直到 n 时的偏导数项。

1
2
假设我们已经完成了可以实现这两步的代码， 那么梯度下降所做的就是反复执行这两步。
我们编写代码给出代价函数及其偏导数然后传入梯度下降算法中，接下来算法则会为我们最小化代价函数给出参数的最优解。这类算法被称为最优化算法(Optimization Algorithms)。这里结合上篇给出总结，如图：