统计学习方法
Soul·Top
soultop
展开
-
XGBoost 与 LightGBM
XGBoost 在商业实战中有非常广泛的应用场景,例如金融反欺诈模型、信用卡评分模型等。 XGBoost 核心思想 以 CART 回归树为基学习器的 梯度提升 算法 boosting 继承学习 多轮迭代,每轮迭代产生一个弱分类器(对上一轮 残差 进行拟合),每个分类器在上一轮分类器的梯度基础上进行训练。对弱分类器的要求一般是足够简单,并且是低方差和高偏差的。 让损失函数持续下降 --> 模型在不断下降。 数学原理 作为 GBDT 算法的高效实现,XGBoost 算法在如下两个方面做了优化 算法原创 2020-08-26 17:27:31 · 527 阅读 · 0 评论 -
SVM 硬核推导,逻辑清晰
预备知识 超平面 y=wTx+by = w^Tx + by=wTx+b 的性质: 对 w,bw, bw,b 进行放缩,当倍数相同时,超平面不变 点 xix_ixi 到超平面的距离计算式为:L=∣wTxi+b∣∥w∥L = \frac{|w^Tx_i+b|}{\|w\|}L=∥w∥∣wTxi+b∣ 超平面将空间划分为了三部分: 面内:wTx+b=0w^Tx+b = 0wTx+b=0 面上:wTx+b>0w^Tx+b > 0wTx+b>0 面下:wTx+b<0w^Tx+b &l原创 2020-08-16 18:49:53 · 145 阅读 · 0 评论 -
统计学习方法(二)
首先:李航——统计学习方法课后答案 感知机 notebook 实现 属于比较简单的二分类模型,其思想是:错误驱动、梯度下降。且解不唯一(只要能满足样本点正确分类就视为成功),与初始状态和优化过程有关。其由输入空间到输出空间的函数如下: f(x)=sign(wTx+b) f(x) = sign(w^Tx + b) f(x)=sign(wTx+b) 因此,对于给定的训练数据集:T=(x1,y1),(x2,y2),...,(xN,yN)T = {(x_1, y_1), (x_2, y_2), ..., (x_N,原创 2020-08-06 21:41:57 · 116 阅读 · 0 评论 -
统计学习方法(一)
首先:李航——统计学习方法课后答案 正则化 正则化是结构风险最小化策略的实现,即:在经验风险(Loss)上加上一个正则化项(惩罚项)。正则化项一般是模型复杂的单调递增函数,即模型复杂度越大,正则化项的值就越大。其一般形式如下: minf∈F=1N∑i=1NL(yi,f(xi))+λJ(f) min_{f \in \mathcal{F}} = \frac{1}{N}\sum_{i=1}^N L(y_i, f(x_i)) + \lambda J(f) minf∈F=N1i=1∑NL(yi,f(x原创 2020-08-06 20:36:34 · 155 阅读 · 0 评论