软间隔支持向量机支持向量的情况以及点的各种情况 该部分内容主要围绕软间隔支持向量机中如何判断一个点是否为支持向量展开。首先指出在硬间隔支持向量机中支持向量满足特定等式,而软间隔支持向量机虽支持向量定义未变,但因引入松弛变量,需依据 KKT 条件判断。
核技巧,核函数理论,常见核函数 以 XOR 异或运算的二分类问题为例,阐述其在二维平面线性不可分,可通过将问题拓展到三维空间找到超平面分类,进而引出核函数。核函数定义为存在从输入空间到特征空间的映射,使核函数等于映射后向量内积。以二维空间到六维空间的多项式核函数为例,说明使用核技巧无需关心映射维度,其目的是将低维向量映射到高维并在低维完成高维向量内积计算。还介绍了常见核函数如线性核函数(特征好时适用)、多项式核函数(用于高维映射)、一维高斯核函数(映射到无穷维但易过拟合),并指出低维线性不可分数据在高维线性可分性虽可能升高但无理论完全证明
软间隔支持向量机 软间隔支持向量机通过引入松弛变量及惩罚机制来处理因存在特异点而线性不可分的数据,阐述了正分类点错误分类的几种情况及相应限制条件转换,还介绍了利用拉格朗日对偶法构建函数求解相关参数的过程。
手把手从神经网络基本原理到图像识别——理论篇 本系列文章一共分为两篇,理论篇与实践篇,旨在介绍如何快速理解神经网络的基本思想,同时能切实输出一个图像识别的小demo进行实践,适合完全没有接触过机器学习的同学。参考文献:Python神经网络编程
快速上手机器学习-感知机 引言:本文通过介绍超平面引入感知机模型的基本思路,同时介绍了包括线性回归,三种梯度下降算法等相关算法,在文末对感知机模型的原始形式进行了代码实现,希望通过朴素的语言帮助刚开始学习机器学习和统计学习方法的同学快速进入机器学习的模式和思路。参考文献:统计学习方法 (第2版)-李航,刘建平老师的博客,关键字:超平面,损失函数,线性回归,梯度下降。