alonestoryteller的博客

1. 朴素贝叶斯相关的统计学知识在了解朴素贝叶斯的算法之前，我们需要对相关必须的统计学知识做一个回顾。贝叶斯学派很古老，但是从诞生到一百年前一直不是主流。主流是频率学派。频率学派的权威皮尔逊和费歇尔都对贝叶斯学派不屑一顾，但是贝叶斯学派硬是凭借在现代特定领域的出色应用表现为自己赢得了半壁江山。贝叶斯学派的思想可以概括为先验概率+数据=后验概率。也就是说我们在实际问题中需要得到的后验概率，可以...

1. 从线性回归到逻辑回归我们知道，线性回归的模型是求出输出特征向量Y和输入样本矩阵X之间的线性关系系数θθ，满足Y=XθY=Xθ。此时我们的Y是连续的，所以是回归模型。如果我们想要Y是离散的话，怎么办呢？一个可以想到的办法是，我们对于这个Y再做一次函数转换，变为g(Y)g(Y)。如果我们令g(Y)g(Y)的值在某个实数区间的时候是类别A，在另一个实数区间的时候是类别B，以此类推，就得到了一个分...

支持向量机（SVM）一、线性可分支持向量机和硬间隔最大化名词解释线性可分：就是指给定一组数据集T={(x1,y1),(x2,y2),⋯,(xN,yN)}T={(x1,y1),(x2,y2),⋯,(xN,yN)}，其中，xi∈χ=Rn,yi∈γ={+1,−1},i=1,2,⋯,Nxi∈χ=Rn,yi∈γ={+1,−1},i=1,2,⋯,N，如果存在某个超平面S，w⋅x+b=0w⋅x+b=0，能...

决策树一.决策树的基本思想决策树是一种基本的分类与回归方法，它可以看作if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。将决策树转换成if-then规则的过程如下：由决策树的根节点到叶节点的每一条路径构建一条规则；路径内部结点的特征对应规则的条件；叶节点的类对应规则的结论.决策树的路径具有一个重要的性质：互斥且完备,即每一个样本均被且只能被一条路径所覆...

K-近邻算法一、初步介绍一下k近邻分类算法是一种基于实例的算法，是一种非参数的分类算法。K-近邻分类方法通过计算每个训练样本到待分类样本的距离，取和待分类样品最近的k个训练样本，这k个样品中哪个类别的训练样本占多数，则待分类样本就属于哪个类别。简单的说，此算法采用测量不同特征值之间的距离方法进行分类。可以这么理解：如果走路像鸭子，叫像鸭子，看起来像鸭子，那么很可能就是一只鸭子。K-NN算法...