7_Logistic Regression

逻辑回归

总结:

1. 通过上节中对Classification的讨论，最后化简后得到的P（C1|X）呈现线性关系，换个角度往下推导,思考能否直接得到 w 和 b

2. 根据上节化简得到的P（C1|X）完成了Step1,Set Function，并比较Logistic Regression 和 Linear Regression的Set function（model）的区别

3. Step2，Goodness of a Function。得到L（w， b），之后将其化简,在这个过程中引入了交叉熵的概念，之后比较了 Linear Regression的 Step2的区别，Logistic Regression使用Cross entropy,而Linear Regression使用Square Error

4. Step3, Find the best Function。对L（w，b）进行偏微分，find the best function。之后比较了 Linear Regression的 Step3的区别，二者结果相同。

5. 拓展

   5.1 分析了Logistic Regression的 Step2使用 Cross Entropy 而不使用 Square Error的原因

   5.2 使用图形化的方法直观比较了Cross Entropy 和 Square Error

   5.3 比较了Distriminative(判定模型)和Generative(生成模型)，通过之前的Pokman以及新举的例子，分析了使用Distriminative推导的Function比经Generative推导的Function正确率低的原因，并补充了什么条件下使用Distriminative比使用Generative好

   5.4 补充说明了多元的Class

   5.5 说明了Logistic Regression的限制条件以及解除限制条件的方法,进行Feature Transformation(特征转换), 并进一步讲解了进行特征转换的方法, 级联逻辑回归模型。

   并引出了Deeping Learning的概念

下面是详细内容:

1.Step1: Function Set

根据上节的P（C1|X）化简得到的Function来Set Function

此处的X1,X2为feature,不是一个Sample,而是一个Smaple的Feature, 上节图中的X1,X2是Sample

比较Logistic Regression和Linear Regression的Step1

2.Step2:Goodness of a function

找到L（w， b）

进一步分析并变形, assum class1为1, class2为0:

---

引入交叉熵的概念:

---

比较Logistic Regression和Linear Regression的Step2:

3.Step3:Find the best function

计算第一个式子的偏微分:

计算第二个式子的偏微分:

化简:

比较Logistic Regression和Linear Regression的Step3:

4.拓展

4.1 Logistic Regression + Square Regression

分析Logistic Regression的Step2为何使用Cross entropy而不使用Square Error

---

4.2 Cross Entropy vs Square Error

4.3 Distriminative vs Generative

判定模型(Logistic Regression)和生成模型(Classification)比较:

对之前的案例Pokman的结果，画图比较Discriminative和Generative的function:

显示使用Discriminative推导的function比使用Generative推导的fuction正确率高

举例说明有时Discriminative不如Generative的原因:

Discriminative进行了假设(脑补)

Training Data:

Testing Data:

在何种条件下使用Distriminative比使用Generative好:

4.4 多元的Class

4.5 Logistic Regression 的限制

​

为了解除限制,可进行Feature Transformation:

Cascading logistic regression models 进行 Feature Transformation:

进行Feature Transformation:

Deeping Learning: