神经网络 VS SVM

1.二者在形式上有几分相似,但实际上有很大不同。

简而言之，神经网络是个“黑匣子”，优化目标是基于经验风险最小化，易陷入局部最优，训练结果不太稳定，一般需要大样本；

而支持向量机有严格的理论和数学基础，基于结构风险最小化原则, 泛化能力优于前者，算法具有全局最优性, 是针对小样本统计的理论。

目前来看，虽然二者均为机器学习领域非常流行的方法，但后者在很多方面的应用一般都优于前者。

神经网络是基于传统统计学的基础上的.传统统计学研究的内容是样本无穷大时的渐进理论,即当样本数据趋于无穷多时的统计性质,而实际问题中样本数据往往是有限的.因此,假设样本数据无穷多,并以此推导出的各种算法很难在样本数据有限时取得理想的应用效果.

而支持向量机则是基于统计学理论的基础上的,可以克服神经网络难以避免的问题.通过支持向量机在逼近能力方面与BP网络仿真结果的比较表明,支持向量机具有较强的逼近能力和泛化能力.支持向量机因其特有的优越性在将越来越受到各领域的重视,具有很好的应用前景

 

2.支撑向量机和神经元都是处理分类问题的重要手段。它们都有各自的优点和缺点。

    通俗点来讲如果想把一个物体分类，我们首先要得到这个物体的一组属性，同类的物体他们的属性相近，在多维空间中表现为一个闭球，可以做一个函数（映射），使闭球内部的函数值为1，闭球外部的函数值为0等等，以此进行分类。

    神经元网络在解决此类问题时要求设计N个超平面，把这个闭球“包”起来，这就会导致很多问题，这是它的缺点。它的优点是同时处理多个属性。

    SVM要求闭球和闭球之间有明显的空白带，同时由于不存在三维以上的基函数，所以支撑向量机最多一次只能处理两个属性（有不同意见的可以回帖，毕竟我也不能保证我的观点就是正确的），这是它的缺点。它的优点是它的分界面比神经元的要更光滑，从而比神经元的精确度要更高。