机器学习
文章平均质量分 80
从数学、统计学层面对各类机器学习相关知识的总结
Bajo
这个作者很懒,什么都没留下…
展开
-
[机器学习]集成学习 - Boosting家族
最近一个做报告用的slide,比较系统的整理了一下boosting家族的数学推导和优化技巧。其中也参考了很多论文和博客,具体内容在文末参考文献。委员会方法-集成学习Boosting目录Ensemble LearningAdaBoostGBDT & XGBoostLightGBMEnsemble Learning在有监督的机器学习中,衡量模型的“好坏”可以从两个方面评估,即模型预测的偏差–Bias和模型预测的方差–Variance1.Bias是用训练数据集训练出..原创 2021-05-21 16:46:54 · 391 阅读 · 2 评论 -
[机器学习]论文笔记-The Gauss-Markov Theorem and Random Regressors
论文笔记-The Gauss-Markov Theorem and Random Regressors论文信息文章名称:The Gauss-Markov Theorem and Random Regressors文章作者:Shaffer, Juliet Popper收录情况:The American Statistician, Nov, 1991, Vol. 45, No. 4, pp. 269-273文章链接:https://doi.org/10.1080/00031305.1991.10475原创 2021-02-22 15:43:04 · 324 阅读 · 1 评论 -
[机器学习]贝叶斯分类器的最优性
贝叶斯分类器的最优性提出问题:对于有监督学习是否存在最优的分类器?我们从二分类的简单情况出发,利用Neyman-Pearson引理对这个问题进行分析.分析问题:1、假设检验(X1,Y1),(X2,Y2),……(Xn,Yn)∼F(X,Y)(X_{1},Y_{1}),(X_{2},Y_{2}),\dots\dots(X_{n},Y_{n})\sim{}F(X,Y)(X1,Y1),(X2,Y2),……(Xn,Yn)∼F(X,Y),给定XXX预测对应的YYYH0: Y=0 vs&nb原创 2021-02-03 16:15:07 · 1261 阅读 · 0 评论 -
[机器学习]Multiple Dimensional Scaling——MDS算法介绍及理解
Multiple Dimensional Scaling——MDS算法介绍及理解以上,为MDS算法的数学证明,事实上网上已经有很多博客和文章写过了。在这里,我主要是想把这个算法的逻辑和内在的想法,通过我的理解阐述一下。MDS算法的目标是对数据进行降维,但是只是对特定数据形式的数据进行降维,即每一个数据是有其与剩余其他数据的相互距离作为分量表示。所以,我们有且仅有的只有不同样本之间的距离。这样的话,我们如果要表示一个样本,我们需要用一个N维向量来表示(就是样本与所有样本的距离来表示它)在这种情况下,我原创 2021-02-03 13:43:11 · 1180 阅读 · 2 评论 -
[机器学习]ROC曲线以及AUC的理解
ROC曲线以及AUC的理解对于不平衡分类问题的评判准则有很多种,比较经典且经常使用的一种方法就是ROC曲线和AUC值。对于二分类问题,我们引入混淆矩阵的概念。一个二分类问题,预测结果可能出现四种情况:如果一个点属于阴性(-)并被预测到阴性(-)中,即为真阴性值(True Negative,TN);如果一个点属于阳性(+)但被预测到阴性(-)中,称为假阴性值(False Negative,FN);如果一个点属于阳性(+)并且被预测到阳性(+)中,称为真阳性值(True Positive,TP);如原创 2021-02-03 13:38:48 · 1186 阅读 · 0 评论 -
[机器学习]Neyman-Pearson基本引理的证明以及使用
Neyman-Pearson基本引理的证明以及使用关于假设检验的背景1、基本概念关于一个分布p的零假设和备择假设记为 H0:p∈P0 ,H1:p∈P1H_{0}:p \in P_{0}\;,\quad H_{1}:p\in P_{1}H0:p∈P0,H1:p∈P1P_0与P_1P\_{0}与P\_{1}P_0与P_1是分布族P的互不相交的非空子集关于参数θ\thetaθ的零假设与备择假设记为H0:θ∈Θ0 ,H_1:θ∈Θ_1H_{0}:\theta\in\Theta_{0}\;,\q原创 2021-02-03 13:11:32 · 4234 阅读 · 0 评论