![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
文章平均质量分 91
reept
这个作者很懒,什么都没留下…
展开
-
核方法总结(四)——高斯过程回归学习笔记
本文是学习《机器学习导论》(清华大学出版社,中文版,王东,2021年)的摘录总结或笔记。原创 2024-06-29 18:35:14 · 913 阅读 · 0 评论 -
核方法总结(三)———核主成分(kernel PCA)学习笔记
本文是学习《机器学习导论》(清华大学出版社,中文版,王东,2021年)的摘录总结或笔记。原创 2024-06-28 17:40:49 · 401 阅读 · 0 评论 -
核方法总结———(二)
本文是学习《机器学习导论》(清华大学出版社,王东,2021年)的摘录总结或笔记。原创 2024-05-16 16:24:46 · 1009 阅读 · 0 评论 -
EM算法和Python代码实现
EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计或极大后验概率估计。用Y表示观测随机变量的数据,Z表示隐随机变量的数据。Y和Z都具备,则称为完全数据,观测数据Y又称为不完全数据,假设给定观测数据Y,其概率分布是P(Y|θ),其中θ是要估计的模型参数,那么不完全数据Y的似然函数是logP(Y|θ),假设Y和Z的联合概率分布是P(Y,Z|θ),则完全数据的对数似然函数是logP(Y,Z|θ)。原创 2024-02-01 17:10:07 · 1369 阅读 · 1 评论 -
核方法总结————(一)
本文是学习《机器学习导论》(清华大学出版社,王东,2021年)的总结或笔记。原创 2024-04-30 20:22:08 · 716 阅读 · 1 评论 -
CatBoost 原理解释及主要算法图分析
CatBoost 与 XGBoost 、LightGBM是主流的三大Boosting框架,都是高效的GBDT算法工程化实现框架。CatBoost 则因长于处理类别特征而取名为CatBoost(Categorical + Boosting)。算法的理论特色,包括用于处理类别变量的目标变量统计和排序提升算法。CatBoost算法论文。原文结构如下:1、Introduction(简介)2、Background(算法提出背景)3、Categary Features(处理类别特征)原创 2024-01-11 14:22:22 · 3919 阅读 · 0 评论 -
支持向量机(Supporting Vector Machine)SMO(Sequential Minimal Optimization)算法
SMO算法的基本想法是:如果所有变量的解都满足此最优化问题的KKT条件,那么此时的所有变量就对应这个最优化问题的一个解。否则,选择这些变量中的两个变量,固定其他变量,针对这两个变量构建一个二次规划问题。这样的凸二次规划问题,具有全局最优解,有许多优化算法可以用于这一问题的求解,但是当样本容量很大时,很多算法的时间复杂度和空间复杂度都会迅速增加,以致无法使用。当遍历完间隔边界样本集后,再次回到遍历整个样本集中寻找,即在整个样本集与间隔边界样本集上来回切换,寻找违反KKT条件的。原创 2023-12-24 10:08:46 · 433 阅读 · 0 评论 -
极度梯度提升树(eXtreme Gradient Boosting)算法推导
式的极值,得到未分裂前的最优权重和最优损失函数值,w1 和 L1, 然后继续分裂(分裂成w2,w3),按某个特征某个值分裂后 的 叶子(预定的节点数)结点的最优权重(一般为二分树)和对应损失函数,就是求分裂后的节点的。,前者 可以裂解为叶子结点所包含样本的一阶偏导数(对应于t-1 步模型预测值的偏导数)累加之和,后者可以理解为相应的二阶偏导数之和,对应于待分裂的某个结点的集合而言,两者均为常数。因为前 t-1 棵树的结构已确定,所以前 t-1 棵树的复杂度之和也可以表示为常数,所以上式后面可分为。原创 2023-11-17 15:36:20 · 551 阅读 · 0 评论