Bajo-CSDN博客

原创 [机器学习]集成学习 - Boosting家族

最近一个做报告用的slide，比较系统的整理了一下boosting家族的数学推导和优化技巧。其中也参考了很多论文和博客，具体内容在文末参考文献。委员会方法-集成学习Boosting目录Ensemble LearningAdaBoostGBDT & XGBoostLightGBMEnsemble Learning在有监督的机器学习中，衡量模型的“好坏”可以从两个方面评估，即模型预测的偏差–Bias和模型预测的方差–Variance1.Bias是用训练数据集训练出..

2021-05-21 16:46:54 388 2

原创 [数据结构与算法]十大排序算法的Java实现

十大排序算法的Java实现回头补一补细节和思想import java.util.*;public class SortAlgorithm { public static void main(String[] args) { int[] a = new int[]{9,3,14,-1,-8,1,0,21,-4,-9,12,9}; RadixSort.sort(a); System.out.println(Arrays.toString(a)); }}class BubbleS

2021-03-01 15:37:26 112

原创 [机器学习]论文笔记-The Gauss-Markov Theorem and Random Regressors

论文笔记-The Gauss-Markov Theorem and Random Regressors论文信息文章名称：The Gauss-Markov Theorem and Random Regressors文章作者：Shaffer, Juliet Popper收录情况：The American Statistician, Nov, 1991, Vol. 45, No. 4, pp. 269-273文章链接：https://doi.org/10.1080/00031305.1991.10475

2021-02-22 15:43:04 323 1

原创 [数据结构与算法]常用数据结构——二叉树，二叉大小堆和堆排序

常用数据结构——二叉树，堆栈，大小堆和堆排序最近刷leetcode有一道题需要用到最大堆，最小堆。其中用到了一个黑科技，一直想不出来，关于最大堆任意元素的删除(并非堆顶的删除)，直到在网上看到了一个算法，顺便回顾一下大小堆。参考：https://www.jianshu.com/p/6d3a12fe2d04二叉树在数据结构中，二叉树是每个结点最多有两个子树的树结构，其中每个结点保存的有结点存储的数据，以及指向两个子树的指针（也可以保存父结点的指针）。通常子树被称作“左子树”和“右子树”。二叉树

2021-02-04 17:11:29 316

原创 [计算机视觉]论文笔记—Group Equivariante Convolutional Networks

论文笔记—Group Equivariante Convolutional Networks前言提到等变性就不得不提不变性这一性质。在卷积神经网络诞生之初，大家普遍认为使得其性能如此之好的原因之一便是其具有一定的平移不变性。起初人们为了增强其拥有的不变性，普遍采用的一些trick都是属于数据增强的类别，而非通过设计网络结构使得网络内在地具有不变性。之后，慢慢有人提出了一些具有不变性的结构或权值共享方式等。但是随着一些新的任务如语义分割和大家对卷积神经网络的讨论，人们认为卷积神经网络应当拥有的是等变性。

2021-02-03 16:45:25 843

原创 [机器学习]贝叶斯分类器的最优性

贝叶斯分类器的最优性提出问题:对于有监督学习是否存在最优的分类器？我们从二分类的简单情况出发，利用Neyman-Pearson引理对这个问题进行分析.分析问题:1、假设检验(X1,Y1),(X2,Y2),……(Xn,Yn)∼F(X,Y)(X_{1},Y_{1}),(X_{2},Y_{2}),\dots\dots(X_{n},Y_{n})\sim{}F(X,Y)(X1,Y1),(X2,Y2),……(Xn,Yn)∼F(X,Y)，给定XXX预测对应的YYYH0: Y=0 vs&nb

2021-02-03 16:15:07 1257

原创 [计算机视觉]Stacked Capsule Autoencoders

Stacked Capsule Autoencoders前言由Hinton提出的Capsule的概念从最早的Transforming auto-encoders的首次提出，到Dynamic Routing Between Capsules的首次实现，再到EM routing的优化。如今的Stacked Capsule Autoencoders已经是第三个版本的CapsNet。2020年AAAI，Hinton也调侃这一版Capsule才是对的，把之前的都忘了吧。所以，接下来我们就一起看看这一版的Caps

2021-02-03 15:13:56 685

原创 [机器学习]Multiple Dimensional Scaling——MDS算法介绍及理解

Multiple Dimensional Scaling——MDS算法介绍及理解以上，为MDS算法的数学证明，事实上网上已经有很多博客和文章写过了。在这里，我主要是想把这个算法的逻辑和内在的想法，通过我的理解阐述一下。MDS算法的目标是对数据进行降维，但是只是对特定数据形式的数据进行降维，即每一个数据是有其与剩余其他数据的相互距离作为分量表示。所以，我们有且仅有的只有不同样本之间的距离。这样的话，我们如果要表示一个样本，我们需要用一个N维向量来表示（就是样本与所有样本的距离来表示它）在这种情况下，我

2021-02-03 13:43:11 1175 2

原创 [机器学习]ROC曲线以及AUC的理解

ROC曲线以及AUC的理解对于不平衡分类问题的评判准则有很多种，比较经典且经常使用的一种方法就是ROC曲线和AUC值。对于二分类问题，我们引入混淆矩阵的概念。一个二分类问题，预测结果可能出现四种情况：如果一个点属于阴性(-)并被预测到阴性(-)中，即为真阴性值(True Negative,TN);如果一个点属于阳性(+)但被预测到阴性(-)中，称为假阴性值(False Negative,FN);如果一个点属于阳性(+)并且被预测到阳性(+)中，称为真阳性值(True Positive,TP);如

2021-02-03 13:38:48 1184

原创 [机器学习]Neyman-Pearson基本引理的证明以及使用

Neyman-Pearson基本引理的证明以及使用关于假设检验的背景1、基本概念关于一个分布p的零假设和备择假设记为 H0:p∈P0 ,H1:p∈P1H_{0}:p \in P_{0}\;,\quad H_{1}:p\in P_{1}H0:p∈P0,H1:p∈P1P_0与P_1P\_{0}与P\_{1}P_0与P_1是分布族P的互不相交的非空子集关于参数θ\thetaθ的零假设与备择假设记为H0:θ∈Θ0 ,H_1:θ∈Θ_1H_{0}:\theta\in\Theta_{0}\;,\q

2021-02-03 13:11:32 4195

Bajo的博客