机器学习之logistic回归与分类

logistic回归与分类是一种简单的分类算法。在分类的过程中只需要找到一个划分不同类的权重向量即可，对新的数据只需要乘上这个向量并比较就可以得到分类。比如下图的二分类问题：

每个样本点可以看成包含两个特征（x1,x2）,现在需要把他们分开，如果这是训练集，他们本身属于哪一个类是已知的，比如说蓝色的属于0类，红色的属于1类，现在我们想通过这些数据建立一个分类标准可以将他们分开，这样再来了一个不知道类别的数据，我们看看这个标准就知道他是属于哪一类的。

像上面这个线性的，那么我们可以建立一个函数模型，假设有一个函数$z = w_1*x_1+w_2*x_2$可以将他们分开，也就是每一个样本(x1,x2)通过这个函数有一个z，当z大于某个值就认为属于第一类，否则属于第二类。那么我们知道，样本确定后(x1,x2)不能变了，那么我们想办法变化这个函数的权值系数(w1,w2)。这个简单的式子可以化简成$x_2 = -k*x_1 + b$的形式，看到这不是一元函数吗，只要有了适当的k和b就可以画出上面的分割线是不是。

下面的问题，如何找到w1与w2，因为我们的数据是已知属于哪一类的了，那么这样的话我们可以开始随机给一组w1与w2，然后将每个点（或者所有点）带到这个函数中，假设我们的z的阈值给的是100，那么带一个点（x1,x2）进去算，发现得到的z=50，划分到第一类，然而实际情况是第二类，划分错了，这样我们调整一下（w1,w2）,再来划分下一个点，就这样一直下去直到(w1,w2)能很好的划分出这些数据为止。

Logistic寻找参数的过程就是这样，那么这里就有几个问题：
（1）关于阈值z=50的选择
为什么你选择50，不是100,200呢？我们知道当x1与x2的数值（范围）变化了之和，这个阈值会变化的。所以为了消除这个影响，我们将得到的z在进行一个映射，这个映射函数就是sigmod函数，函数的形式如下:

σ(