吴恩达机器学习笔记Day 3

吴恩达机器学习笔记Day 3

逻辑回归

解决分类问题，例如判断邮件是否是垃圾邮件，线上交易是否存在欺诈，肿瘤的良性或恶性。这些例子的输出y属于集合{0，1}，0代表”Negative class"，1代表“Postive class"。
所以在分类问题中，y = 0 or 1，假设函数h(x)能大于1或者小于0，而当我们使用逻辑回归(分类)时，要使假设函数在[0,1]区间内。
上述例子并不适合用线性回归来解决，为什么呢，请看图。
线性回归中假设函数，$h_{\theta }(x)={\theta }^{T}x$
逻辑回归中引入Sigmoid function，$g(z)=\frac{1}{1+e^{-}z}$
$h_{\theta }(x)=g({\theta }^{T}x)$
sigmoid 函数图像

决策边界

$h_{\theta }(x)\ge 0.5$ 也就是${\theta }^{T}x\ge 0$时，y = 1
$h_{\theta }(x)<0.5$ 也就是${\theta }^{T}x<0$时，y = 0

代价函数

如何选择参数$\theta$?
由于逻辑回归的假设函数是sigmo函数，所以画出的代价函数图形如左边所示，由此可见，线性回归的Cost已不再适用，需要对Cost项的函数进行改造，让图形更加光滑。
公开课上讲的非常清楚，选择指数形式能很好的解决此问题。
这里直接给出优化后的函数形式
接下来是梯度下降
虽然函数形式是跟线性回归一样的，但假设函数已经发生了改变。

多元分类，一对多

也就是说输出值y = 0， 1，2，3.。。

正则化

为了解决过拟合的问题，一是尽量减少特征的数量：可以保留主要的特征，算法模型的选择。
二就是正则化
能保留所有特征，但会减少参数θ的值
当有大量特征值时，效果显著。
正则化，也是矩阵知识中的范畴，以后再补这方面的知识。