机器学习
常用机器学习算法的原理介绍和代码实现
追逐AI的蜗牛
这个作者很懒,什么都没留下…
展开
-
深入理解最大似然估计、最大后验概率估计和贝叶斯公式
在博客最大似然估计中,通过简单的例子对最大似然估计原理有了一个直观的理解;在博客朴素贝叶斯分类器中,对贝叶斯公式有了一个粗浅的理解,而且我们知道了贝叶斯分类器原理就是最大后验概率估计。这篇博客主要是深入理解最大似然估计、最大后验概率估计、贝叶斯公式的数学原理和它们之间的联系。基本概念理解 想要搞清楚上述几个原理,首先要弄明白概率、统计、概率函数和似然函数概率 概率研究的是:模型和参数已知,预测模型产生某结果的概率。统计 统计研究的和概率正...原创 2020-08-19 14:03:04 · 454 阅读 · 0 评论 -
生成式模型与判别式模型的理解与对比
在机器学习中,我们常常利用数据来对模型建模,不同的建模方式产生了两种不同的模型:生成式模型、判别式模型。判别式模型 由数据学习决策函数Y=f(X)或者条件概率P(Y|X)作为预测模型。判别式模型学习的是不同类别数据的差异性,最终得到最佳分类面生成式模型 由数据学习联合概率P(Y,X)作为预测模型,生成式模型学习的是不同类别数据的相似性,得到一个相似度概率分布,相似度最高的类别即为预测类别对比对比 判别式模型 生成式模型 特点 寻找不...原创 2020-08-18 17:12:59 · 1132 阅读 · 0 评论 -
朴素贝叶斯分类器原理解析与python实现
贝叶斯分类器是以贝叶斯原理为基础的分类器的总称,是一种生成式模型,朴素贝叶斯分类器是其中最简单的一种。要高明白贝叶斯分类器的原理,首先得明白一些基本概念。预备知识基本概念 先验概率:根据统计/经验得到的某事情发生的概率,比如北京下雨的概率可以通过以往的经验或者统计结果得到 后验概率:在一定条件下某事情发生的概率,比如北京天空出现乌云(因)会下雨(果)的概率 条件概率:事情发生时某条件出现的概率,比如北京下雨(果)会出现乌云(因)的概率贝...原创 2020-08-18 15:39:22 · 10399 阅读 · 8 评论 -
交叉熵损失函数原理深层理解
说起交叉熵损失函数「Cross Entropy Loss」,相信大家都非常熟悉,但是要深入理解交叉熵损失函数的原理和作用,还得溯本追源才能对其有一个真实的理解与认知。交叉熵 交叉熵是用来度量两个概率分布的差异性的,因此它被广泛的应用于机器学习和深度学习,用来衡量模型学习到的分布和真实分布的差异。要理解交叉熵,需要从信息量、熵、相对熵几个概念开始信息量 信息奠基人香农认为“信息是用来消除随机不确定性的东西”,因此他提出了信息量的概念,信息量表示一条信息消除不...原创 2020-08-14 18:24:32 · 4283 阅读 · 1 评论 -
逻辑回归原理解析及python实现
前两篇讲了线性回归和感知机,铺垫已经做好了,现在终于可以讲讲逻辑回归了。通过之前的博客我们知道,感知机是线性模型在分类问题上的尝试与改进,那么逻辑回归可以看做是感知机的优化,不了解的小伙伴可以参考博客线性回归和感知机引言 为了实现分类的功能,感知机通过sign函数将线性模型的输出y映射成1和-1,sign函数如下 sign函数是一个非连续...原创 2020-08-12 18:28:12 · 304 阅读 · 0 评论 -
感知机原理解析与python实现
讲完线性回归本来应该乘热打铁讲讲逻辑回归的,但是我觉得应该先讲解感知机的原理,它不仅可以帮助理解分类和回归,也能帮助理解逻辑回归。引言感知机原理原创 2020-08-12 14:52:10 · 257 阅读 · 0 评论 -
线性回归原理解析及python实现
研究机器学习的小伙伴应该都知道,机器学习主要有两大类模型:分类和回归。这里先大概说一下分类和回归的区别与联系,方便大家对机器学习其他模型有一个宏观的认识。分类和回归联系 其实分类和回归模型本质上是一样的,它们都是通过已有数据构建(求解)一个模型,其中x表示一个n维的特征向量,y表示经过模型的处理后得到的输出结果,而模型的具体表达式可以是千变万化的,这里我们不展开讨论。区别 分类和回归的最主要区别在于模型的输出y,回归模型的输出y是一个连续性的数值型数据;分...原创 2020-08-12 11:18:10 · 685 阅读 · 0 评论 -
最大似然估计直观理解(简单易懂)
在理解最大似然的过程中我发现,单纯的对极大似然的理论和数学公式进行解释比较晦涩难懂,下面我通过讲解一个自己设计的例子帮助理解。例子描述 假设现在有1万个灯泡,想要知道这些灯泡的合格率(能点亮为合格)? 如果将1万个灯泡都测试一遍来计算其合格率显然是不现实的,这种情况我们可以对1万个灯泡随机采样,抽取100个灯泡并测试,这100个灯泡的合格率假设通过测试知道80个灯泡可以被点亮,剩下20个不能点亮,那么我们就会估计这1万个灯泡的合格率为80%。极大似然估计...原创 2020-08-10 08:53:27 · 1433 阅读 · 0 评论