线性分类器之 logistic regression与neural networks的关系

   logistic  regression和neural networks 的区别和联系： Logistic regression 的本质是线性分类器，但是在做完线性变化后，结果又通过sigmoid函数做非线性变换，sigmoid函数是神经网络中处理非线性现象（nonlinear saturation）的常用办法。而neural networks则既可以是线性，也可以是非线性。因此logistic regression可以看做是单层的neural networks。

   SVM和logistic  regression都可以看做是单层的neural networks，也就是peceptron的小变形，然而线性的neural networks其能力有限，如xor问题，所以一般neural networks都是多层的非线性网络，也可以是多层的logistic  regression叠加。