《机器学习》学习笔记（四）-- 逻辑回归

1. Three Steps of Machine Learning
2. Logistic Regression VS Linear Regression
3. Discriminative vs Generative
4. Conclusion
5. Multi-class Classification

Review
在classification中，我们讨论了通过共用Σ可以得到一个线性的z

从上式可以看到，model是受w和b控制的，因此我们可以想办法通过一个全新的方法去找到w和b，并通过它们去决定一个model–Logistic Regression

1.Three Steps of Machine Learning

step1：function set
这里的function set就是Logistic Regression–逻辑回归
wi:weight; b:bias; σ(z):sigmoid function; xi:input

step2:Goodness of a function
设有N笔Training data，而每一笔data都要标注其是属于哪一个class

假设这些Training data 是从定义好的posterior Probability中产生的（后置概率，也就是概率密度函数），而w和b就决定了这个posterior Probability，然后我们就可以去计算某一组w和b去产生这N笔Training data的概率，利用极大似然估计的思想，最好的那组参数就是有最大可能性产生当前N笔Training data分布的w和b

似然函数只需要将每一个点产生的概率相乘即可，假设是二元分类，所以class2的概率为1-P(X1)的概率

由于L（w,b）是乘积项的形式，为了方便计算，可以将上式交换一下

由于class1和class2的概率表达式不同意，所以为了同一式子的格式，可以将Logistic Regression里所有的Training data都打上0和1的标签，即outputy = 1代表class 1，output y = 0代表class2，于是，式子还可以进一步改写成：

有了统一格式时，就可以将要minimize的对象写成summation的形式：

上式的xn代表第n个样本点，yn则表示第n个样本点的class标签，（1表示class1，0表示class2），最终这个summation的形式，其实内在就是两个Bernouli distribution的cross entropy（交叉熵）

假设有如上图所示的两个distribution p和q，它们的交叉熵就是H（p，q），这也就是之前的推导中在- ln L（w，b）前加一个负号的原因

cross entropy（交叉熵）的含义是表达这两个distribution有多接近，如果p和q这两个distribution一模一样的话，那它们算出来的cross entropy就是0，而f（xn）表示function的output，yn表示预期的target，因此交叉熵实际上表达的是希望这个function的output和它的target越接近越好

综值，要找的参数实际上就是：

step3:Find the best functio