在第一篇中已经得到了最优间隔分类器的目标函数:
KaTeX parse error: No such environment: align* at position 7: \begin{̲a̲l̲i̲g̲n̲*̲}̲ max_{\gamma,w,…
接下来的任务就是要求解这个目标函数了。为了求解这个,很多优化知识是避不开的,所以先跑跑题,写一下相关的数学知识吧~
首先从无约束的优化问题讲起,一般就是要使一个表达式取到最小值:
m i n f ( x ) min \quad f(x) minf(x)
如果问题是 m a x f ( x ) max \quad f(x) maxf(x) 也可以通过取反转化为求最小值 m i n − f ( x ) min \quad-f(x) min−f(x),这个是一个习惯。对于这类问题最简单的就是直接对它的每一个变量求导,然后让导数为零就可以了。
从感知机到 SVM,再到深度学习(二)
最新推荐文章于 2024-01-08 01:27:39 发布
这篇博客介绍了从感知机到SVM的优化过程,探讨了无约束优化问题和极值点求解,提到了梯度下降法和坐标下降法。还简单触及了神经网络的结构,特别是其拟合能力和隐藏层的作用。最后提到了损失函数和调优作为后续话题。
摘要由CSDN通过智能技术生成