模式识别与机器学习
xiaollla
https://github.com/xiaolalala
展开
-
支持向量机 SVM
文章目录支持向量机硬间隔SVM问题定义对偶问题序列最小化 SMO 算法支持向量核函数软间隔SVM支持向量机硬间隔SVM问题定义考虑下图二维的二分类问题,如果要寻找一条直线对数据进行分类,那么可以找到很多条符合条件的直线,如 H2,H3H_2, H_3H2,H3。在这些直线中,如何选择一个最优的直线呢?一个直观的感受是,一个较好的直线应该具有以下条件:直线能够对所有样本正确分类。...原创 2019-11-27 19:08:05 · 259 阅读 · 0 评论 -
Boosting ---- 加法模型、前向分步、Gradient Boosting、AdaBoost、GBDT
加法模型加法模型 (additive model) 形式如下:f(x)=∑m=1Mβmb(x;γm)f(x) = \sum_{m=1}^{M}\beta_mb(x;\gamma_m)f(x)=m=1∑Mβmb(x;γm)其中,b(x;γm)b(x;\gamma_m)b(x;γm)是第mmm个基函数,γm\gamma_mγm是第mmm个基函数的模型参数,βm\beta_mβm是第m...原创 2019-09-23 00:53:32 · 2038 阅读 · 0 评论 -
降维 ---- 主成分分析 (PCA)、奇异值分解 (SVD)
降维在机器学习或数据处理中,经常会碰到一些高维数据,而高维数据情形下经常出现样本稀疏、计算困难等问题,称之为“维度灾难”。对于一个高维数据数 D={X1,X2,...,XN}D = \{X_1, X_2, ..., X_N\}D={X1,X2,...,XN},其中每条数据的对应维度为nnn,即Xi∈RnX_i\in R^{n}Xi∈Rn。降维的目的是找到一个映射函数fff,使得DDD中...原创 2019-09-26 23:46:20 · 599 阅读 · 0 评论