logistic Regression & Regularization

Logistic回归的主要用途：
寻找危险因素：寻找某一疾病的危险因素等；
预测：根据模型，预测在不同的自变量情况下，发生某病或某种情况的概率有多大；

自变量既可以是连续的，也可以是分类的。

常规步骤

1. 寻找h函数（即hypothesis）：需要找的分类函数，它用来预测输入数据的判断结果；
2. 构造Cost函数（损失函数）：该函数表示预测的输出（h）与训练数据类别（y）之间的偏差；
3. 构造J函数（J(θ)函数）：将Cost求和或者求平均，表示所有训练数据预测值与实际类别的偏差。
   
4. 想办法使得J函数最小并求得回归参数（θ）。
5. 构造预测函数h：
   
6. 
   
7. 
   
8. 下面左图是一个线性的决策边界，右图是非线性的决策边界。
   
9. 
   
10. 
    

11. 对于线性边界的情况，边界形式如下：

    

    构造预测函数为：

    

    函数的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：