机器学习
主要用于总结工作、学习中遇到的一些机器学习经验、知识点。
ReLuJie
计算机视觉.
展开
-
GBDT--回归篇
关于分类情形,参见GBDT-分类篇。Gradient Boost的算法流程LS_TreeBoostLAD_TreeBoostsklearn源码解读sklearn.ensemble.GradientBoostingRegressorsklearn.ensemble.GradientBoostingRegressor(loss=’ls’, lea...原创 2019-10-22 11:33:12 · 314 阅读 · 1 评论 -
GBDT--分类篇
Gradient Boost的算法流程 备注:这里表示损失函数,表示样本在相对于决策面(后续分析回归问题和分类问题)的得分。About Logistic 对于二分类任务而言,常常采用Log-loss: ,其中 与算法流程相对应,为了便于后续推导方便,这里对Log-loss...原创 2018-10-31 10:36:32 · 5646 阅读 · 25 评论 -
正则项:L1-norm和L2-norm
前言对于有监督学习任务而言,它的目标函数函数往往具有如下的格式: 其中红色部分表示数据拟合项(损失项),它度量了用模型f(x,theta)来拟合数据标签y时所带来的偏差(error/loss);绿色的部分则是模型正则项,它度量了模型的复杂度。因此上述格式的目标函数蕴含着...原创 2019-07-17 19:14:46 · 1490 阅读 · 0 评论 -
损失函数
常见的分类损失函数 图1. 机器学习常见损失函数备注: 图1中很坐标表示样本x的得分score...原创 2019-03-12 09:01:12 · 1094 阅读 · 1 评论 -
PCA与SVD
Outline预备知识样本实例 :表示第i个样本,它的特征维度为D; 样本矩阵 :, 其中N表示样本个数,D表示样本维数; 內积矩阵 :,元素 表示样本与样本 的相似度; 协方差矩阵:,元素 表示维度i与维度 j的 协方差; 正交矩阵:,满足:; 酉矩阵: ,满足:,表示的共轭转置; Hermite矩阵:, 若,其中表示共轭矩阵;SVD...原创 2019-08-31 12:49:43 · 226 阅读 · 0 评论 -
Random Forest
预备知识模型介绍模型分析参考文献原创 2019-11-17 11:39:40 · 120 阅读 · 0 评论 -
优化基础--梯度、梯度下降、牛顿法
梯度首先来看单变量连续函数导数的定义: 它表示函数f(x)在某点的切线斜率或者变化率。对于多变量的连续函数,我们则关注它的偏导数。我们以二元函数f(x,y)为例,表示y保持不变,f(x,y)沿x轴的变化率; 表示x保持不变,f(x,y)沿着y轴的变化率...原创 2019-11-10 22:18:37 · 273 阅读 · 0 评论 -
K-means
Demo Model & SolutionObjective function : Solution : ...原创 2019-11-06 23:56:09 · 243 阅读 · 0 评论 -
XGboost实战及Python源码分析
关于XGboostpaper :Tianqi Chen et al.XGBoost: A Scalable Tree Boosting System[2016-KDD] github:https://github.com/dmlc/xgboost blog :https://blog.csdn.net/On_theway10/article/details/85105383源...原创 2019-11-05 17:08:15 · 698 阅读 · 0 评论 -
K-NN及其目标函数
原创 2019-10-26 20:21:17 · 508 阅读 · 0 评论 -
NCA论文阅读笔记
论文信息title :Neighbourhood Components Analysis [2005-NIPS] author : Jacob Goldberger, Sam Roweis, Geoff Hinton, Ruslan Salakhutdinov论文解读123工程实现原创 2019-10-22 21:25:02 · 517 阅读 · 0 评论 -
机器学习树模型之CART
分类树回归树节点分裂准则机器学习实战源码针对性分析优缺点分析为什么可以cover特征有缺失的数据?原创 2019-08-03 22:45:15 · 191 阅读 · 0 评论 -
XGboost的数学原理
Gradient Descent or Newton-method[0].https://blog.csdn.net/On_theway10/article/details/103003077[1].https://zhuanlan.zhihu.com/p/37524275[2].https://www.zhihu.com/question/19723347Gradie...原创 2018-12-19 18:56:38 · 685 阅读 · 0 评论 -
MLE vs. MAP
极大似然估计(Maximum Likelihood Estimate,MLE)思想精髓:存在的即是最合理的。在假设数据{X,Y}服从分布P(X,Y|),寻找最能解释数据集的参数,从而使得分布能够最好地刻画数据集.一般流程:step -1. 假设数据集的分布为P(X,Y|),其中表示确定的参数;step -2. 求解如下的优化问题:最大后验估计(Maximum A Posteri...原创 2018-12-19 19:05:22 · 359 阅读 · 0 评论 -
MoG & EM-Algorithm
问题的提出 --> Figure_1假设我们有一堆如图(b)所示的数据集X,它们由3个独立的高斯分布生成,样本在空间中存在交叠,上帝知道它的本来面目(如图(a)所示),一个自然的问题是:能否根据数据集X,估计出生成它们的分布的参数呢?答案是肯定的,下面来分析如何求解模型参数。混合高斯模型我们假设X的...原创 2018-12-19 19:01:35 · 1518 阅读 · 2 评论 -
XGboost参数详解
在运行XGboost之前,必须设置三种类型成熟:general parameters,booster parameters和task parameters:General parameters:参数控制在提升(boosting)过程中使用哪种booster,常用的booster有树模型(tree)和线性模型(linear model)。 Booster parameters:这取决于使用哪种...翻译 2018-11-14 06:53:25 · 780 阅读 · 0 评论