吴恩达老师机器学习课程--逻辑回归算法解决分类问题

机器学习之逻辑回归算法解决分类问题

吴恩达老师的coursera课程翻译版：https://www.bilibili.com/video/BV164411b7dx?p=5

参考github上大佬python实现算法的笔记：https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes

很经典的课程啦，这个翻译还可以，有不清楚的直接看英文。网上笔记很多，我也记录一下，记得牢固一点。

一、分类

1. 二值分类问题：预测变量的值只有0或者1
2. 多分类问题：预测变量值0,1,2,3……

【注】：线性回归并不适用于分类问题，分类问题的回归函数值域应在0和1之间。

二、假设函数

1. 逻辑回归模型的假设函数需要的区间：$0⩽h_{\theta }(x)⩽1$

2. 参考线性回归：
   $$\begin{gathered} h_{\theta }(x)=g({\theta }^{T}x) \\ sigmoid函数：g(z)=\frac{1}{1+e^{-z}} \end{gathered}$$
   

3. 模型解释：

   当输入x时，$h_{\theta }(x)$为预测的y分类为1的概率

   数学表示：$h_{\theta }(x)=P(y=1|x;\theta )$

三、假设函数的属性：决策边界

解决算法何时将y预测为1，何时预测为0的问题。

1. 直观的：$h_{\theta }(x)$以0.5位分界线，大于0.5分类为1，小于0.5分类为0

2. 隐含的：$z={\theta }^{T}x\ge 0$

   

   【注】：当我们有确定的$\theta$值时，我们就有完全确定的决策边界。

   非线性决策边界：

   

四、代价函数：

我们希望代价函数式一个凸函数，这样能适用于梯度下降，更好的的找到局部最小值

1. 定义：
   KaTeX parse error: Unknown column alignment: 1 at position 44: … \begin{array}{1̲1} -log(h_\thet…

2. 理解：

   

   

五、简化代价函数与梯度下降

1. 代价函数：(原理来自最大似然估计)
   $$J(\theta )=-\frac{1}{m}\sum _{i=1}^m{y}^{(i)}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))$$

2. 梯度下降：

   

   【注】：线性回归的特征缩放在此同样适用

六、高级优化算法

梯度下降并不是我们可以使用的唯一的优化算法，有一些更高级的优化算法可以加速算法运行，使逻辑回归算法能更好的应用于大型数据集。

通常调用库函数选用哪个要多尝试

七、多元分类

分别训练好后，输入新的x选出三个分类器里预测值最大的那个