机器学习方法
文章平均质量分 93
机器学习方法学习笔记
滔_GY
不务正业的前端老鸟
展开
-
EM算法|机器学习方法(李航)
书中的抛硬币游戏,当你知道抛硬币的过程和结果,就很容易统计出三个硬币正面出现的概率。但是当你只知道抛硬币结果,不知道过程(即你不知道抛硬币的顺序),要怎样才能统计出三个硬币正面出现的概率呢?上面我们不知道抛硬币的过程为我们知道的抛硬币结果为如果数据集中含有隐变量的话,我们就无法简单地直接使用极大似然估计法或贝叶斯估计法来估计模型的参数,这时候,我们就需要使用EM算法了。原创 2024-02-25 22:49:25 · 900 阅读 · 2 评论 -
提升方法|机器学习方法(李航)
分类问题的提升方法的思想是,学习多个分类器,各个分类器中训练样本的权重是不同的,最后将这些分类器进行线性组合,形成一个最终的分类器,以提高分类的性能。这种思路类似于将多个专家的判断进行适当的综合所得出的判断,要比其中任何一个专家单独的判断好。在提升方法中有两个基础概念:强可学习,弱可学习。简单来说,一个概念如果存在一个算法能够学习它,且正确率很高,那么就称这个概念是强可学习的。对应的,一个概念如果存在一个算法能够学习它,学习的正确率仅比随机猜测略好,那么就称这个概念是弱可学习的。然而在之后算法的发展原创 2024-02-23 23:07:26 · 1049 阅读 · 1 评论 -
支持向量机|机器学习方法(李航)
支持向量机,可以看着是升级版的感知机,与感知机相比。他们都是找到一个超平面对数据集进行分割,区别在于,感知机模型得到的超平面空间中可以有无穷个超平面,但支持向量机仅含有一个,这一个超平面与样本点的间隔是最大化的。支持向量机学习方法包含三种模型:线性可分支持向量机,要求训练集线性可分,通过硬间隔最大化得到超平面。线性支持向量机,要求训练集近似线性可分,通过软间隔最大化获得超平面非线性支持向量机,训练集线性不可分,可通过使用核函数将线性不可分的训练集转换为线性可分的数据集,并通过软间隔最大化获得超平面原创 2024-02-20 20:19:45 · 903 阅读 · 0 评论 -
最大熵模型|机器学习方法(李航)
用最大熵原理选择最好的分类模型。我们可以首先考虑模型应该满足的条件,即约束条件。给定训练数据集,可以确定联合分布P(X,Y)的经验分布和边缘分布P(X)的经验分布,两者都可以通过训练集算出来。PXxYyvXxYyNPXxvXxNPXxYyNvXxYyPXxNvXxvXxYyv(X=x,Y=y)vXxYy表示训练数据中样本xy(x,y)xy出现的频数,vXxv(X=x)vXx。原创 2024-02-09 00:32:58 · 871 阅读 · 1 评论 -
逻辑斯蒂回归|机器学习方法(李航)
在感知机中,我们知道一个超平面将特征空间分成两个部分,实例在不同的子空间中则被分为相对应的类。但是存在一个问题在于,我们不知道一个新输入的实例,它属于一个类的概率是多少。例如新输入的实例非常接近超平面,它被分为A类的概念为51%,分为B类的概念为49%。在感知机中将它分为了A类,但是为给出概念。sigmoidx1e−x1Sigmoid函数能够将线性回归产生的值−∞∞转换到01区间内,而概率的取值也在01内,这样,就可以显示一个实例被分为一个类的概率是多少了。原创 2024-02-07 00:09:58 · 878 阅读 · 1 评论 -
决策树|机器学习方法(李航)
决策树,这里的树不是我们日常看到路边的树,是指一种数据结构——树。如上图就是一个二叉树,你可以把决策树看做二叉树。二叉树上的每个圈就是节点,可以看做一个if判断,将数据进行二分。最低的叶节点就是对应的分类。原创 2024-02-02 11:17:00 · 1209 阅读 · 0 评论 -
朴素贝叶斯(NBM)|机器学习方法(李航)
今天阴天,天气预报说有60%的概率下雨,有20%的概率打雷,下雨后发生打雷的概率只有10%。根据朴素贝叶斯模型就可以求出,打雷后下雨的概率。朴素贝叶斯模型是一种简单但非常强大的分类器,在垃圾邮件过滤、疾病诊断、文本分类等方面都显示出了巨大的成效。这里的”朴素“是指:设特征之间是的。原创 2024-01-28 00:25:23 · 1216 阅读 · 0 评论 -
k近邻(KNN)|机器学习方法(李航)
你可以理解为人以群分,物以类聚。我们在生活中会逐渐与一群兴趣爱好和自己相似的人组成一个圈子,我们的朋友也会组成他们自己的圈子,依此类推。那么以我们为中心,以朋友与朋友的关系将所有人联系起来。相隔K层后,朋友的兴趣爱好还会和我们相似吗?而k近邻就是要找到相隔K层后,朋友的兴趣爱好依然和我们相似的,K层内所有的朋友。书上的定义是:给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类。原创 2024-01-19 00:09:08 · 528 阅读 · 0 评论 -
感知机模型(Perceptron)|机器学习方法(李航)
试想一下,在一个盒子里面一个哈密瓜和一个西瓜。你只能用手摸判断哪个是哈密瓜,哪个是西瓜。我们用手摸两个瓜的大小,纹理等特征,然后我们的大脑会根据收集到数据和我们大脑中认知的哈密瓜和西瓜的特征进行对比,识别到哪个是哈密瓜,哪个是西瓜。在上面例子中用手摸两个瓜的大小、纹理两个特征,是一个数据收集的过程,然后我们的到一个二维的数据集。我们大脑中认知的哈密瓜和西瓜的特征,就是一个训练好的模型。我们将收集到的数据集传入模型,就能知道哪个是哈密瓜,哪个是西瓜。在了解感知机后,我们需要了解在数学上怎样实现感知机的。原创 2024-01-11 23:15:54 · 885 阅读 · 1 评论