今天面试了,面试官又又又问了我SVM的推导,但是面试官解答了我一个点,那就是为什我们会使用拉普拉斯。使用拉格朗日的好处在哪里,而这个点非常关键,让我知道了,除了我们会用来计算,我们还需要了解细节。而且要挖掘。
下面围绕SVM说两个点:
第一个点:与逻辑回归在思路上有什么不同。这个我们可以更加深入的了解逻辑回归的推到过程
第二个点:SVM本身会涉及到哪些计算,其中的一步会解决了上面的问题。
逻辑回归:
第一个是激活函数
第二个是损失函数的推到这个比较关键
第三个是反向传播,这是更正的关键的地方。
第一个激活函数sigmoid关键词:(0,1),梯度形势好,梯度消失。
第二个的话是损失函数的推到,本质上是极大似然的角度进行推倒的,关键就是希望,预测和标准能够符合的概率最大,具体参考:参考链接1
第三个的话,如何找到最小值的参数w呢,所以我们使用梯度下降的问题,让我们的参数不断改进,最终可以让损失最小,也就是上面的交叉熵的损失最小。如果不加升网络等乱七八糟的话,本身是一个凸函数。凸函数的梯度下降的局部最优点就是全局最优点,但是我们的卷积神经网络等不适凸函数,因为涉及的成分太多了,但是逻辑回归的本身是一个凸函数。