【Stanford-ML-Discussion】LiR,LoR,NN,SVM假设,损失函数与训练方法比较

假设函数：
（1）Linear Regression：带有参数$\theta$的多项式表达式
（2）Logistic Regression：带有参数$\theta$的Sigmoid函数，通过阈值判断类别归属
（3）NN: 带有参数$\theta$的Sigmoid函数，通过阈值判断类别归属（其实最后一层隐藏层类似一套抽象的特征输入Logistic Regression）
（4）SVM：带有参数$\theta$的超平面表达式，通过计算正负判断类别归属

损失（目标）函数：
（1）Logistic Regression是修改Linear Regression损失函数得到的。
（2）SVM和NN（Sigmoid激励函数）的损失代价函数都是通过修改Logistic Regression的损失函数得到的。

训练(优化)方法：
均可以使用梯度下降法（Gradient Descent）进行训练。

凸优化问题：
（1）Linear Regression，Logistic Regression的损失函数可以证明是凸函数，所以属于凸优化问题。
（2）Neural Network中如果不存在隐藏层或隐藏层中的激活函数属于线性函数，则NN是可以凸优化的，但是如果隐藏层中的激活函数是非线性的话，NN是属于非凸优化的。