![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
文章平均质量分 91
三岁就很萌@D
这个作者很懒,什么都没留下…
展开
-
统计学习方法笔记-条件随机场
一 马尔可夫随机场** 定义**设有联合概率分布 P(Y), 由无向图 G = (V, E) 表示,在图 G 中,结点表示随机变量,边表示随机变量之间的依赖关系 。 如果联合概率分布 P(Y) 满足成对、局部或全局马尔可夫性,就称此联合概率分布为概率无向图模型或马尔可夫随机场 。其中成对,局部,全局马尔可夫性有如下定义:成对马尔可夫性: 设u和v是无向图中任意两个没有连接的结点,对应随机变量Yu Yv, 其他所有结点为O,对应一个随机变量组,则局部马尔可夫性: v 是无向图中的任意一个结点,随机变原创 2020-11-27 22:12:09 · 603 阅读 · 0 评论 -
统计学习方法笔记-聚类方法
一 什么是聚类聚类是针对给定的样本,依据它们的特征的相似度或距离,将其归并到若干"类" 或者 "簇"的数据分析问题,直观上讲,聚类是将相似的样本归到一个类。根据介绍我们明白,聚类的核心是如何来对两个样本的相似度来进行度量。聚类方法有多种度量方法,下面一起来看看吧。二 相似度的度量方法在聚类中,可以将样本集合看作是向量空间中点的集合,利用点和点之间的距离来代表样本与样本之间的相似度。点与点之间距离越近,则样本与样本的相似度越高。下面来介绍几种距离度量闵可夫斯基距离给定样本集合X, X是m维实数向原创 2020-11-27 21:49:48 · 757 阅读 · 0 评论 -
统计学习方法笔记-隐马尔可夫模型(内含Python代码实现)
一 马尔可夫模型我们通过一个具体的例子来介绍一下什么是马尔可夫模型我们假设天气有3种情况,阴天,雨天,晴天,它们之间的转换关系如下:(稍微解释一下这个图,我们可以这样认为,已知第一天是阴天,那第二天是阴天的概率是0.1, 第二天是晴天的概率是0.3,第二天是雨天的概率是0.6)每一个状态转换到另一个状态或者自身的状态都有一定的概率。马尔可夫模型就是用来表述上述问题的一个模型。有这样一个状态链,第一天是阴天,第二天是晴天,第三天是雨天。 这样一个状态链就是马尔可夫链。在上述例子中,如果我们并不知原创 2020-11-20 21:34:40 · 10758 阅读 · 2 评论 -
统计学习方法笔记-EM算法的应用(对高斯混合模型进行参数估计 内含Python实现)
一 高斯混合模型二 使用EM算法对高斯混合模型进行参数估计假设观测数据y1,y2,…yn 由高斯混合模型生成因为高斯混合模型是由许多高斯模型组合而成的,我们无法确定某一个观测数据yj 具体是由哪一个高斯模型生成的,这也就是我们这个概率模型的一个隐变量。它的定义如下:第一步 我们先得出这个问题的完全数据的对数似然函数第二步 根据EM算法 我们要计算Q函数第三步 根据EM算法 要求出极大化Q函数的参数即求 下求偏导数并令其为 0 得到的。下面给出高斯混合模型参数估计的EM算法原创 2020-11-19 14:46:32 · 1479 阅读 · 3 评论 -
统计学习方法笔记-EM算法
一 EM算法简介EM算法是一种用于含有隐变量的概率模型参数的极大似然估计。 它分为两步进行: 第一步E步,求期望。第二步M步,求极大。 所以也被称为期望极大算法。看了上面的描述可能会有疑问,什么叫做含有隐变量的概率模型参数的极大似然估计。我们首先说一下什么叫做似然函数和极大似然估计:在数理统计学中,似然函数是一种关于统计模型中的参数的函数,表示模型中参数的似然性,似然性类似于概率,指某种事件发生的可能性。在通常情况下我们是根据已知条件来推测结果的,但极大似然估计是已知结果,我们选取让这种结果出现概原创 2020-11-19 09:28:47 · 642 阅读 · 1 评论 -
Python实现梯度提升树(GDBT)
一 概念介绍加法模型下面公式代表的是一个加法模型其中 b(x;γm)为基函数,γm 是基函数的参数,βm 是基函数的系数。前向分布算法如果给定了训练数据集以及损失函数L(y,f(x)) ,学习加法模型的过程就是极小化损失函数的过程。即求解如下问题:因为加法模型是由多个基模型组合而成的,很难直接去求解上述问题。 所以我们选择一个叫做前向分布算法的方法来求解。它的基本思想是: 如果能从前向后,每一步只学习一个基函数及其系数,逐步逼近目标函数式(上图中的式子),就可以简化优化的复杂度。所以每步只需原创 2020-11-12 20:55:24 · 4251 阅读 · 0 评论 -
统计学习方法学习笔记-支持向量机
线性可分给定一个数据集T = {(X1,Y1), (X2 ,Y2) ,… ,(XN ,YN)}如果存在某个超平面 ω * x+b=0 在 wx+b>0的情况下 y都等于+1 在 wx+b<0的情况下 y 都等于-1 则认为数据集T是线性可分的,否则认为数据集T是线性不可分的。支持向量机模型介绍在这幅图上,我们假设蓝色的点是正例(y=+1) 红色的点是负例(y=-1) 很明显我们可以找到一条直线将图中数据按照它们的标签 (y) 完美切割 ,但是这样可供选择的直线很多,我们在图上已原创 2020-11-06 22:09:03 · 748 阅读 · 0 评论 -
统计学习方法学习笔记-原始问题与对偶问题
拉格朗日函数原始问题如果只是求我们很容易想到对f(w) 进行求导来解, 但是现在有约束条件,我们想到在高数中学习过带条件的极值该如何求,它是通过定义拉格朗日函数来求的。构造拉格朗日函数为考虑 x的函数如果存在一个x,x不满足约束条件,即存在 i 使 ci(x)>0 或者 hj(x) 不等于0 ,那么当 ci(x)>0时,我们可以使ai->+ ∞ ,或者hj(x) 不等于0时使βjhj(x)->+ ∞ 将其余的ai ,βj均取为0 那么就有而如果所有的x都满原创 2020-11-04 22:12:36 · 1507 阅读 · 0 评论 -
Python实现逻辑斯谛回归
逻辑斯谛分布我们常用的sigmoid函数其实就是逻辑斯谛分布函数 u=0,y=1 的形式它的分布函数和密度函数的曲线如下:根据逻辑斯谛分布函数的图像可以看出当x趋向于无穷大时,F(x) 趋向于1 当x趋向于无穷小时,F(x) 趋向于 0二项逻辑斯谛回归模型二项逻辑斯谛回归模型是一个二分类模型。它由条件概率分布 P(YIX) 表示X是输入的特征向量,Y是输出的类别。 对于一个二分类问题来说,将比较P(Y=0|X)与P(Y=1|X) 的大小来确定X到底属于哪一个类别。学过线性回归的朋友知道,线性回原创 2020-10-30 20:23:35 · 2677 阅读 · 0 评论 -
决策树(四)之Python实现CART算法
CART算法CART 是一种广泛应用的决策树学习方法。它同样由特征选择、树的生成及剪枝组成,既可以用于分类也可以用于回归。分类树与回归树的区别在样本的输出,如果样本输出是离散值,这是分类树;样本输出是连续值,这是回归树分类树的输出是样本的类别,回归树的输出是一个实数。在CART算法中,假设决策树是一个二叉树,内部结点特征的取值为 “是” 和 “否” 。左分支取值为"是" ,右分支取值为 “否”。CART算法由以下两步组成:1 决策树生成:基于训练数据生成决策树,生成的这棵决策树要尽可能大2 决策树原创 2020-10-28 22:31:05 · 4294 阅读 · 2 评论 -
统计学习方法学习笔记-决策树(三)之Python实现一棵决策树(基于C4.5算法)
在之前的决策树模型详解(一)之如何进行特征选择 以及决策树模型详解(二)之如何生成决策树以及剪枝 我们已经学习完了决策树算法的三个步骤 特征选择 决策树生成 决策树剪枝在这篇文章中,就要给大家展示一下基于C4.5生成算法如何来构建一棵决策树,以及如何对决策树进行剪枝决策树的一个分支class Edge: #代表树的一个分支 def __init__(self, child, value): self.child=child #这个边连接的结点 self.va原创 2020-10-27 20:51:09 · 390 阅读 · 0 评论 -
统计学习方法学习笔记-决策树(二)之如何生成决策树以及剪枝
决策树生成1 决策树生成过程概述首先构建根结点,将所有训练数据都放在根结点。选择一个最优特征,按照这一特征将训练数据集分割成子集。如果这些子集己经能够被基本正确分类,那么构建叶结点, 并将这些子集分到所对应的叶结点中去。如果还有子集不能被基本正确分类,那么就对这些子集选择新的最优特征,继续对其进行分割,构建相应的结点。如此递归地进行下去,直至所有训练数据子集被基本正确分类,或者没有合适的特征为止。最后每个子集都被分到叶结点上,即都有了明确的类。这就生成了一棵决策树。下面介绍决策树生成的两种算法ID3原创 2020-10-27 20:39:13 · 1073 阅读 · 0 评论 -
统计学习方法学习笔记-决策树(一)之如何进行特征选择
决策树模型概述决策树(decision tree)是一个树结构(可以是二叉树或非二叉树)。其每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始,测试待分类项中相应的特征属性,并按照其值选择输出分支,直到到达叶子节点,将叶子节点存放的类别作为决策结果。决策树可以表示如下当我们构建好一个决策树后,我们就可以根据特征的取值来判断一个待分类项的类别举个例子 现在有一个西瓜 它的纹理很清晰,根蒂稍蜷,色泽乌黑原创 2020-10-27 20:27:52 · 4134 阅读 · 1 评论 -
信息熵公式的详细讲解
信息熵的公式设X是一个取有限个值的离散随机变量 其概率分布如下则随机变量X的熵可以表示为这个公式是如何来的? 下面我将为大家详细介绍一下首先介绍一个概念——信息量 。信息量是对信息的一个度量。信息量跟一件事情所发生的概率有关。 通常而言一件事情发生的概率越大,那它产生的信息就越小。举个例子:假如我是一个每天都按时上学的乖孩子某个普通的星期一我跟妈妈说:妈妈我去上学了 妈妈继续做她手里的事情说 哦,注意安全但是如果我跟妈妈说 妈妈我今天不去上学了 妈妈可能反应比较大 问 为什么不去上原创 2020-10-24 10:39:19 · 7223 阅读 · 0 评论 -
朴素贝叶斯的详细讲解及其Python实现
公式介绍朴素贝叶斯概述朴素贝叶斯法基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入输出的联合概率分布,然后基于此模型,对给定的输入 X, 利用贝叶斯定理求出后验概率最大的输出 u。朴素贝叶斯公式推导朴素贝叶斯法的参数估计拉普拉斯平滑用极大似然估计可能会出现所要估计的概率值为 0 的情况。 这时会影响到后验概率的计算结果,使分类产生偏差。解决这一问题可以采用拉普拉斯平滑举个经典例子:数据如下在这个数据中有4个特征 假设它们的取值是这样的原创 2020-10-23 20:19:32 · 4298 阅读 · 2 评论 -
Python实现感知机
一 模型定义感知机模型是一个二分类线性分类模型,输入为实例的特征向量,输出为实例的类别,取值为-1,+1。感知机对应的是将输入空间中将实例划分为正,负两类的超平面。感知机模型对应函数f(x) = sign(w*x 十 b)其中, ω 和 b 为感知机模型参数, ω 叫作权值 , b 叫作偏置(w,b都是以向量的形式存在), sign 是符号函数。二 模型损失函数感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。感知机模型的学习指的是对参数 w和b的学习。感知机模型原创 2020-10-20 23:00:11 · 1000 阅读 · 0 评论 -
k近邻详解及其Python实现
一 模型概述1 定义给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的 k 个实例,这 k 个实例的多数属于某个类,就把该输入实例分为这个类。2 距离度量k 近邻法常用的距离度量是欧氏距离,公式如下:3 k 值的选择如果选择比较小的k值,预测结果会对近邻的实例点比较敏感,如果近邻的实例点是噪声点,会导致预测出错,也就是容易发生过拟合。 如果选择比较大的k值,距离待预测实例点较远的实例点(不相似的)也会对预测起作用,使预测失误。在实际应用中k值一般取一个比较小的数值,通常采用原创 2020-10-20 22:57:54 · 543 阅读 · 0 评论