Logistics分类

本文仅为自己的知识整理，若有侵权请联系本人。

逻辑分类，是一种二分类法，能将数据分成0和1两类。

logistic分类的流程比较简单，主要有线性求和，sigmoid函数激活，计算误差，修正参数这4个步骤。前两部用于判断，后两步用于修正。

假设有一个n维的输入列向量 x，也有一个n维的参数列向量h， 还有一个偏置量b， 那么就可以线性求和得到z.

此时因为z的值域是[−∞,+∞] ，是无法根据z来判断x 到底是属于0还是1的。因此我们需要一个函数，来将z的值映射到[0,1]之间， 这就是激活函数。激活函数有很多种，这里的激活函数是sigmoid函数。

可以看到x越大，σ(x)越接近1，反之，则越接近0.

当 a 大于0.5的时候，我们判定x应属于1类，如果小于0.5，则属于0类。

h和b的值直接关系到logistic判断的准确性。在最开始的时候，h中的值是随机的，而b的值是0. 我们通过不断的训练来使得h和b能够尽可能的达到一个较优的值。

假设我们期望输入x的判定是y，而实际得到的判定值是a，那么我们定义一个损失函数C(a,y)，通过修正h和b的值来使得C最小化，这是一个优化问题。在凸优化问题中，可以通过

来直接算得h和b的最优解。然而在某些情况下，例如数据规模很大，或者非凸优化问题中，则不能这么做，而是用迭代的方法来得到局部最优解。其中 η表示学习率。