[Machine Learning]吴恩达机器学习笔记 六——Logistic 回归

1、分类 Classification

 

2、假设陈述 

sigmoid function = logistic function 

假设函数的表示方法：

 

3、决策界限 Decision boundary 

决策界限是假设函数的属性，它取决于假设函数本身以及其参数θ，而不是数据集的属性。训练集是用来拟合参数θ的。

 

4、代价函数

在logistic regression中，如果使用了平方代价函数，很可能因为假设函数中包含的sigmoid函数的非线性而导致代价函数呈现为凹非凸函数（non-convex），所以很难找到全局的最优值。因此，我们需要替换另一种代价函数，使得代价函数呈现为凸函数(convex)，从而利用梯度下降算法能够找到全局最优值。

 

5、简化代价函数与梯度下降

上图中的代价函数，是从统计学中使用极大似然法得到的，能够为不同模型快速寻找到参数的方法，并且是凸函数，因此是大部分人用来拟合逻辑回归模型的代价函数。 

线性回归与逻辑回归的代价函数看起来是一样的，但是实际上，它们的假设函数是不相同的，这里需要特别注意。在线性回归中，假设函数是θ转置*x，而逻辑回归中，假设函数包含了sigmoid函数。

 

6、高级优化

更多的高级优化的算法，如Conjugate gradient, BFGS, L-BFGS ，它们相较于梯度下降算法的优势在于不需要手动选择学习率， 并且能够运行的更快，但是这些算法理解起来会更复杂些。

 7、多元分类 Muti-class classification：一对多 

Muti-class classification: one-vs-all