了解如何使用几何解释得出逻辑回归的成本函数
![fd6693b970b554cee4fbbb09dbbde2cf.png](https://i-blog.csdnimg.cn/blog_migrate/02c4f185c793fbe7c6464f3b5b5a540a.jpeg)
> Photo by ThisisEngineering RAEng on Unsplash
Logistic回归是使用Logistic函数对二进制因变量建模的统计模型。 用几何解释术语,逻辑回归试图找到最能区分这两个类别的直线或平面。 Logistic回归适用于几乎或完全线性可分离的数据集。
线性可分离术语是什么意思?
对于二元分类数据集,如果一条线或一条平面可以将两个类别几乎或完全分开,则此类数据集称为线性可分离数据集。 否则,如果两个类不能用直线或平面分开,则数据集不是线性可分离的。
![46a0714ff72de404a8ee27353f68cee2.png](https://i-blog.csdnimg.cn/blog_migrate/3136db7cdb0a424708e7ee4e148f5f8b.jpeg)
> Left Image: Linearly Separable, Right Image: Non-Linearly Separable
从上面的二维样本数据集中,左样本数据集几乎可以由一条线线性分离,而对于右样本数据集,没有线可以将两类点分开。
![cbc9b78c3fc0ff2b511cc0f246aba27f.png](https://i-blog.csdnimg.cn/blog_migrate/b5d74936ddc9cf02da9a7c1d5feb2f9f.jpeg)
> Image 2
在(图2)中,该线将3个点分类错误(红色圆圈)最好地分离了两类点。
深入探讨算法的几何解释:
![c58a97ed3ef077fd8f3f2ff5a168a6c5.png](https://i-blog.csdnimg.cn/blog_migrate/2d066a3a91143b40da13a54f2c01baae.jpeg)
> Image 3: Xi and Xj are correctly classified points
对于上面的示例数据集,假设我们需要找到一个将两个类分开的平面" P"。
平面的一般方程式为:
![a3cd7c88ca8c16afc62fdf3892c80f50.png](https://i-blog.csdnimg.cn/blog_migrate/62a7770943fc72d842c442d8a0de6931.jpeg)
![b79c6f42a0f740eda6837717fcbfd1e8.png](https://i-blog.csdnimg.cn/blog_migrate/70811a731da698c25c301976c9097614.jpeg)
所以最后我们需要找到飞机" P"。 令两类点为y_i = {1,-1}。 对于任意两个随机点x_i和x_j。
![92398ff1437cc9dff7874caf11cdd979.png](https://i-blog.csdnimg.cn/blog_migrate/929d6abe7167ab2e0dfe22e8a9c38fad.jpeg)
![bcad0443770df9290b681ab8c6b178e6.png](https://i-blog.csdnimg.cn/blog_migrate/2aac1f2f0a3e4e9012cebb3de60d752a.jpeg)
d_i =平面与x_i之间的距离
![dea24f8584d5636d8e191d42c6f82a15.png](https://i-blog.csdnimg.cn/blog_migrate/eac896bc005821d5a99ea3ad1a70a604.jpeg)
d_j =平面与x_j之间的距离
对于正确分类的点(图3):
d_i> 0且d_j <0
Now for a positive class point: y_i = +1(d_i * y_i) > 0, since d_i > 0 and y_i > 0For a negative class point: y_i = -1(d_i * y_i) > 0, since d_i < 0 and y_i < 0
因此,对于正确分类的点,(y_i * d_i)始终为正
对于错误分类的点(图4):
![3cf182bc220cb3e6f92d73c33c67d79b.png](https://i-blog.csdnimg.cn/blog_migrate/0ed4c83aaeea84c01e18430004efdb05.jpeg)
> Image 4: Xi and Xj are incorrectly classified points
d_i <0和d_j> 0
For a positive class point: y_i = +1(d_i * y_i) < 0, since y_i > 0 and d_i < 0 (because on wrong side)For a negative class point: y_i = -1(d_i * y_i) < 0, since d_i > 0 and y_i < 0 (because on wrong side)
对于错误分类的点,(y_i * d_i)始终为负
因此,要获得最佳解决方案,我们需要最大化(y_i * d_i)。 我们需要找到最佳W,w_0,以使以下等式最大化。
![9576bf54b148d8235615fb148d03cc19.png](https://i-blog.csdnimg.cn/blog_migrate/9ff20c218f0cd2864e65f4878f716bb8.jpeg)
Sigmod:
![3843457c0a6e6e8c1fa5b026059128d4.png](https://i-blog.csdnimg.cn/blog_migrate/41f79b14f242126ab9bd3f88eca2d1a7.jpeg)
> Image 4
由于存在否定类的离群点,因此上述获得的成本函数将获得普通的" P2"作为最佳平面,但事实并非如此。 平面" P1"最好将两类点分开。
离群点或极端点的存在会在很大程度上影响飞机。 为了避免这种情况,我们需要找到一个函数,如果(y_i * d_i)值太大而id(y_i * d_i)值很小,则该函数应保持较小。
我们需要一个像
![38c65bc5f3d9ffd00fdb89a9afe8ebe4.png](https://i-blog.csdnimg.cn/blog_migrate/a79f4ac62b2531a7882381a1f2cdee4a.jpeg)
> Image 5
如果x的值较大,则f(x)逐渐变小;如果x的值较小,则f(x)保持较小。
Sigmod函数:
S形函数的图清楚地定义了它满足条件。 S形函数的数学方程式:
![2cf745fcda00ee7d9db19e560f419c9d.png](https://i-blog.csdnimg.cn/blog_migrate/4704590cc87f93aacc25674410e521c3.jpeg)
![33f3a336c5348591c28046c7f3ec2f97.png](https://i-blog.csdnimg.cn/blog_migrate/3a13e106d8422f161e6b2addc2536ed8.jpeg)
> Source: Google Plots, Image 6, Plot for sigmoid function
因此,方程式归结为:
![d737ffe00cad9f1bba6fcb1f08b3d2d5.png](https://i-blog.csdnimg.cn/blog_migrate/60cf8eba76d41e2cb3f9826514f45c0e.jpeg)
![a4a959d166d30cc6c2bc4a8d9f3b1641.png](https://i-blog.csdnimg.cn/blog_migrate/4aed868d37944432f54129a0a1914f74.jpeg)
为使方程式最小化:
如果G(x)是单调递增函数,则G(F(x))也是单调递增函数。
![e5f7190d0f5a5b490eb5cf4973eadad5.png](https://i-blog.csdnimg.cn/blog_migrate/6c41b1720c7c9da075f6dd446124c228.jpeg)
将F(x)作为上述推导方程,将G(x)作为log(x)作为log(x)是单调递增函数。
![bb8b3de31889518be406b92bcc18030c.png](https://i-blog.csdnimg.cn/blog_migrate/0f0c5456ccbfc976dfeb327abca1dc5a.jpeg)
> Source: Google Plots, Image 7, Plot of log_e(x)
等式归结为:
![56580f1a91f0dfc895306fad9a939844.png](https://i-blog.csdnimg.cn/blog_migrate/353dec17de321b7fda2e9f2431f2cc95.jpeg)
![34baf85b9157ea550361d6199b305062.png](https://i-blog.csdnimg.cn/blog_migrate/bec9c9d7a06610cf9b5e6443f4d06277.jpeg)
![6fcce32d4ba15883e8b01f360a017c7b.png](https://i-blog.csdnimg.cn/blog_migrate/85ac6bdd0ddf736e12f0da078bcc7642.jpeg)
![ffc02404f1af3ab354ce72add2913112.png](https://i-blog.csdnimg.cn/blog_migrate/498e3df72a66985a9d81ef8898d660ad.jpeg)
正则化:
由于log_e(z)的最小值为0。因此,优化程序将尝试将上述公式的值最小化为0,从而使log_e(z)的" z" = 1。
![c5844247999fdf5de1d421bcab132205.png](https://i-blog.csdnimg.cn/blog_migrate/ced9f2bf94853b25e49857d4c3dbb708.jpeg)
![18343895e69489dfa36ad3513e0503a9.png](https://i-blog.csdnimg.cn/blog_migrate/bf1fc24b9e7075cc83849e2a5ccc6225.jpeg)
![d81e62843794fef35435819ad308b088.png](https://i-blog.csdnimg.cn/blog_migrate/bdee778b1580c4fccd4803790778fd3d.jpeg)
因此,W,w_0趋于无穷大,以满足方程式,这将使逻辑回归。
添加L2正则化:
![df4b72d88f9618205349ace80549cd2a.png](https://i-blog.csdnimg.cn/blog_migrate/2f5de36eef0149d53ae9b347bd79a741.jpeg)
上面推导的方程是逻辑回归算法的成本函数。 我们使用一个优化器来计算W的最佳值w_0,从而使上述成本函数最小化。 上式中的" lambda"是一个超参数。
偏差偏差权衡:
如果lambda = 0,那么上面的等式将不包含任何会使模型过拟合的正则化项。
如果lambda->无限(大值),则该术语正则化的权重非常高,并且将使该术语的其余部分蒙上阴影,从而导致欠拟合模型。
预测查询点的目标类:
![671badeefe4a4a708d1dcc55600fd357.png](https://i-blog.csdnimg.cn/blog_migrate/590b330e1973eb06ad9cb558a65bbff5.jpeg)
> Image 7: Query
![d40c9f8300710a25d32bcd11aaf77e43.png](https://i-blog.csdnimg.cn/blog_migrate/79cb71643c7205d55c9b05af143ffed1.jpeg)
> W, w_0 is computed by minimizing the cost function
对于查询" q1",y_pred> 0(在W方向上为q1)
对于查询" q2",y_pred <0(与W相反的方向上的q2)
谢谢您的阅读!
(本文翻译自Satyam Kumar的文章《Geometric Interpretation of Logistic Regression》,参考:https://towardsdatascience.com/geometric-interpretation-of-logistic-regression-4f85047a5860)