斯坦福机器学习-week 3 学习笔记（1）

keyword：Logistic Regression Model

目录

一.Logistic Regression的含义 

二.Logistic Function

三.Logistic Regression Model

  3.1 Hypothesis函数的定义

   3.2 Hypothesis函数的含义

   3.3 模型训练过程

   3.4 模型预测过程

   3.5 多分类问题

一. Logistic Regression

Logistic Regression 就是分类(Classification)问题。

二.Logistic Funciton

Logistic Function 就是 Sigmoid Function。

Sigmoid函数G(z)的定义如下：

                   

三.Logistic Regression Model

   3.1 Hypothesis函数的定义

     对于Logistic Regression来说，Hypothesis函数的定义如下

                      

    3.2 Hypothesis函数的含义

    对于二分类问题来说，Logistic Regression Model的Hypothesis函数表示在某个输入x的条件下，输出值y=1的概率。可以用下面的数学公式表示。

                      

                      

    3.3 模型训练过程

    对于Logistic Regression问题来说，其cost function的定义如下：

                 

     训练的过程就是找到一个合适θ0，使得J(θ)的值最小，也就是满足下面的式子：

                                    

                             

     要获得这样的最优解，可以使用梯度下降算法，也可以使用其他最优算法。

                            

     也就是说，对于Logistic Regression模型来说，训练过程就是先初始化一个θ值，然后按照上面的式子进行参数更新，在进行一定次数的迭代之后，就能获得一个合适的参数θ0

    3.4 模型预测过程

    对于二分类的Logistic Regression模型来说，进行预测就是计算Hypothesis函数的值，然后判断该值与0.5的关系，输出分类的结果，可以按照下面的公式进行：

                         

    

     3.5 多分类问题

      对于多分类问题，可以采用下面的方法出现：

    也就是说， 对于多分类问题，可以把所有不属于这一类的其他类的样本都看成一类，将n分类问题简化成n个两分类问题，然后使用两分类的训练方法训练n个两类的分类器。

    对于多分类的预测来说，计算每一个类别的Hypothesis函数，然后找到Hypothesis函数的值最大时对应的类，就可以输出类别了。