吴恩达机器学习向量机_机器学习吴恩达实验向量机-CSDN博客

本文链接：https://blog.csdn.net/qq_52590569/article/details/120105208

本文详细介绍了支持向量机（SVM）的概念，从分类过渡到向量机，阐述了SVM的目标是找到最大化间隔的决策边界。讨论了核函数的作用，特别是高斯核函数，以及参数C和σ对模型的影响。同时，对比了SVM与逻辑回归的选择策略，指出SVM在数据量和特征数量不同场景下的应用建议。

摘要由CSDN通过智能技术生成

学习日志 2136周

$cost_0(\theta^Tx^{(i)})$ 和 $cost_1(\theta^Tx^{(i)})$ 函数替换 $log(h_{\theta}(x))$ 相关函数
删去 $\frac{1}{m}$ ，形式： $(A+\lambda\times B){\to}(C×A+B)$ （类似于 $C=\frac{1}{\lambda}$ )
$C=\frac{1}{\lambda}$
- $C$ 较大时，相当于 $\lambda$ 较小，可能会导致过拟合，高方差。
- $C$ 较小时，相当于 $\lambda$ 较大，可能会导致欠拟合，高偏差。
当 $C$ 不是非常非常大的时候，它可以忽略掉一些异常点的影响，得到更好的决策界
最后有别于逻辑回归输出的概率。在这里，我们的代价函数，当最小化代价函数，获得参数 $\theta$ 时，支持向量机所做的是它来直接预测 $y$ 的值等于1，还是等于0。因此，这个假设函数会预测1。当 $\theta^{T}x$ 大于或者等于0时，或者等于0时，所以学习参数 $\theta$ 就是支持向量机假设函数的形式。那么，这就是支持向量机数学上的定义。

大间距分类器
- 理解时假设： $C$ 非常大时（便于理解向量机；看公式：要求变为使A趋近0，目的变为最小化B，即最小化 $\theta$ ），忽略掉截距，令 $\theta_{0}=0$
- 支持向量机做的全部事情，就是极小化参数向量 $\theta$ 范数的平方，或者说长度的平方。
- 即便 $\theta$ 不等于0，支持向量机要做的事情都是优化这个目标函数对应着 $C$ 值非常大的情况，但是可以说明的是，即便 $\theta_{0}$