logistic regression和neural networks 的区别和联系: Logistic regression 的本质是线性分类器,但是在做完线性变化后,结果又通过sigmoid函数做非线性变换,sigmoid函数是神经网络中处理非线性现象(nonlinear saturation)的常用办法。而neural networks则既可以是线性,也可以是非线性。因此logistic regression可以看做是单层的neural networks。
SVM和logistic regression都可以看做是单层的neural networks,也就是peceptron的小变形,然而线性的neural networks其能力有限,如xor问题,所以一般neural networks都是多层的非线性网络,也可以是多层的logistic regression叠加。