分类与逻辑回归(classification and logistic regression)

背景：学习SML课程的时候，感觉课件堆满了统计学的原理和公式，课后summary很重要，因此留个帖子，分享的同时也当成自己的总结学习

（本酸菜鱼第一次写帖子，欢迎大佬们指正！但不接受任何偏激的谩骂哟）

 

Machine Learning的课程里，大多数时候的X都是多个特征值，我个人理解其实就是多维的坐标轴，只不过我们毕竟是三维生物，很难将超过三维的概念在脑海中想象出来。

所以我们不妨就直接用二维展现，如此只需简单的联想就能推导到多特征的情况：

先举个栗子：

从二元分类(binary classification)开始，假如我们现在想对一个人群(样本)进行分类，像下图那样，现在有两个特征值：

横坐标是颜值X1

纵坐标是工资X2

这时候每个点其实也就是矩阵X(X1,X2)。线性空间里喜欢写成X(x1,x2,...,xn)，无非我们是n=2而已

于是这个时候你很想在中间给他来一刀把这群人分成两部分，一类是高富帅，一类是屌丝

但现实中，毕竟衡量的标准是很模糊的。

那么怎么划分这条线呢？

于是我们假设：如果你是高富帅的可能性大于50%，那么你就被视为是高富帅；同样，如果你是高富帅的可能性小于50%，那么你就被视为是屌丝

就像一个示性函数，记为：

因为这个概率常理来说，就是0到1。

所以就可以用这样一个函数（也就做逻辑函数，logistic function）来假设：（我也不知道这个假设是谁提的，说不定还能用任何映射到(0,1)区间内的函数？这就有待大神回复了）

这个函数值的范围就是[0,1]

刚才说这些点其实是矩阵X(x1,x2)；设有矩阵：a(a1,a2)。

则：=a1x1+a2x2

所以又常记为：

在上面的坐标图中，当a1x1+a2x2+b>0时，点在线的上面，即红色的点；当a1x1+a2x2+b<0时，则是蓝色的点，在线的下面。

同样，在超平面和半空间的定义中，根据超平面是否大于0，我们可以把空间中的点一分为二，分为两类。而在超平面上，有

于是这样的划分问题，就变成了一个线性回归问题，在有足够的样本X的条件下，我们可以优化矩阵a和常数b，来达到最好的分类效果。

优化过程公式复杂，有待更新。