![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
ErinLiu虎哥的铲屎员
这个作者很懒,什么都没留下…
展开
-
PCA、SVD和LDA
文章目录1.数学知识2.PCA,主成分分析2.1 方差最大原理2.1.1推导2.1.1总结2.1 最小平方误差角度2.3 总结3.SVD(奇异值分解)SVD性质原始数据有时有高维特征向量,可能包含很多冗余和噪声。通过降维寻找数据内部的特性,提升特征的表达能力,降低训练复杂度。1.数学知识数据标准化 x−x‾std\frac{x - \overline x}{std}stdx−x,在处理数...原创 2019-07-08 13:22:04 · 730 阅读 · 0 评论 -
GBT/Xgboost/Lightgbm 之 GBT
文章目录1 提升树(boosting tree)1.1前向学习1.2对于回归提升树2. GBT,Gradient Boosting Tree,梯度提升树2.1 梯度提升算法2.2 GBRT,梯度提升回归树2.3 GBDT,梯度提升决策树2.4 工程应用GDTXgboostLightgbm三种算法都是boosting的一种:每个模型间相互依赖,下一个模型修改上一个模型的错误1 提升树(...原创 2019-06-29 09:48:06 · 731 阅读 · 0 评论 -
GBT/Xgboost/Lightgbm 之 Xgboost
文章目录3. Xgboost3.1 求解目标函数3.1.1 对目标函数二阶泰勒展开式3.1.2定义正则化项3.1.3假定已知树结构,求解树参数3.2 生成树结构3.2.1贪心算法3.2.2 近似算法(直方图)3.3 并行计算3.4 Xgboost和GBT的区别接上篇GBT。3. Xgboostxgboost 也使用与提升树相同的前向分步算法,区别在于xgboost的目标函数添加了正则化项。...原创 2019-06-29 10:50:10 · 382 阅读 · 0 评论 -
GBT/Xgboost/Lightgbm 之 Lightgbm
文章目录4.lightgbm,light gradient boosting machine4.1 GOSS4.1.1 寻找最佳分裂点算法 histogram-based alogrithm4.1.2 获得新样本训练模型算法 gradient-based one-side sampling4.2 EFB4.2.1 发现互斥特征算法 greedy bundling4.2.2 互斥特征打包 merg...转载 2019-06-29 12:33:41 · 549 阅读 · 0 评论 -
svm惩罚因子c的理解
知乎用户@顾凌峰使用的hinge损失函数来表示对于样本的分类偏差, loss=max(0,1−y(wTx+b))los...转载 2019-10-09 12:53:41 · 1247 阅读 · 0 评论