- Three Steps of Machine Learning
- Logistic Regression VS Linear Regression
- Discriminative vs Generative
- Conclusion
- Multi-class Classification
Review
在classification中,我们讨论了通过共用Σ可以得到一个线性的z
从上式可以看到,model是受w和b控制的,因此我们可以想办法通过一个全新的方法去找到w和b,并通过它们去决定一个model–Logistic Regression
1.Three Steps of Machine Learning
step1:function set
这里的function set就是Logistic Regression–逻辑回归
wi:weight; b:bias; σ(z):sigmoid function; xi:input
step2:Goodness of a function
设有N笔Training data,而每一笔data都要标注其是属于哪一个class
假设这些Training data 是从定义好的posterior Probability中产生的(后置概率,也就是概率密度函数),而w和b就决定了这个posterior Probability,然后我们就可以去计算某一组w和b去产生这N笔Training data的概率,利用极大似然估计的思想,最好的那组参数就是有最大可能性产生当前N笔Training data分布的w和b
似然函数只需要将每一个点产生的概率相乘即可,假设是二元分类,所以class2的概率为1-P(X1)的概率
由于L(w,b)是乘积项的形式,为了方便计算,可以将上式交换一下
由于class1和class2的概率表达式不同意,所以为了同一式子的格式,可以将Logistic Regression里所有的Training data都打上0和1的标签,即outputy = 1代表class 1,output y = 0代表class2,于是,式子还可以进一步改写成:
有了统一格式时,就可以将要minimize的对象写成summation的形式:
上式的xn代表第n个样本点,yn则表示第n个样本点的class标签,(1表示class1,0表示class2),最终这个summation的形式,其实内在就是两个Bernouli distribution的cross entropy(交叉熵)
假设有如上图所示的两个distribution p和q,它们的交叉熵就是H(p,q),这也就是之前的推导中在- ln L(w,b)前加一个负号的原因
cross entropy(交叉熵)的含义是表达这两个distribution有多接近,如果p和q这两个distribution一模一样的话,那它们算出来的cross entropy就是0,而f(xn)表示function的output,yn表示预期的target,因此交叉熵实际上表达的是希望这个function的output和它的target越接近越好
综值,要找的参数实际上就是:
step3:Find the best functio