Logistic Regression

                                                             Logistic Regression

 

====================================classification=========================================

1、分类算法

 注： 假设h(x)的值在[0,1]这个范围内。

          逻辑回归算法属于分类算法。

==================================hypothesis-representation===============================

2、假设函数

     注     g(z)被称为Sigmoid function 或者 Logistic function ,右边是g(z)函数的图像。

注 ： 假设函数是输入x，y=1的概率。

=================================decision-boundary==================================

3、决策边界

注：当h(x)>=0.5,则预测y=1；

       当h(x)<=0.5,则预测y=0；

       所以，当(theta)的转置*x>0时，y=1；

                  当(theta)的转置*x<0时，y=0；

注 ：举例子

注：这是较为复杂的例子。

=================================cost-function=======================================

4、代价函数

注：左图为非凸函数，右图为凸函数

注：将非凸函数转变为凸函数，y=1的图像。横坐标为h(x)

注：将非凸函数转变为凸函数，y=0的图像。横坐标为h(x)

注：逻辑回归的代价函数

注：逻辑回归代价函数的简化

================================Gradient Descent==================================

5、梯度递减算法

 注 ：其他的算法：

                             Conjugate gradient

                             BFGS

                             L-BFGS

          优势：1、不需要选择学习率α，2、运行速度快

          劣势：比较复杂

===========================Multiclass Classification=========================

6、多类分类

============================the-problem-of-overfitting==============================

7、过度拟合

  注：  左图  欠拟合

           中图   正确

           右图   过度拟合  其对训练数据拟合的非常好，但是对新的数据拟合度不高。

    注：解决过度拟合的方法

                1、减少特征

                2、正规化

   注：函数J为正规化后的cost function

           下图是过度拟合的图像和正规化后的图像

   注：正规化参数特别大的情况

  注：正规化后的梯度递减算法

 注：正规化后的正规方程

 注：cost function 的展开形式

  注：高级算法中cost function 实现思想，注意索引。