概率论
文章平均质量分 60
Mr_health
这个作者很懒,什么都没留下…
展开
-
神经网络参数初始化
参数初始化原创 2022-07-25 17:44:52 · 1633 阅读 · 0 评论 -
期望和方差
均值和方差原创 2022-08-29 11:03:04 · 3701 阅读 · 0 评论 -
【机器学习】分别从极大似然和熵的角度来看交叉熵损失
从极大似然的角度 从熵的角度 假设样本为X,其对应的类别为Y,P(Y|X)就是给定X判断为Y的后验概率。我们希望每一个样本X被正确预测到相应类别Y的概率都最大,即max P(Y|X),那么所有样本正确预测概率相乘最大化就是我们所期望的,因此采用极大似然的原理 Step1:构...原创 2020-07-28 00:38:58 · 406 阅读 · 0 评论 -
【机器学习】信息熵与数据分布的距离度量方法
机器学习中,绕不开的一个概念就是熵 (Entropy),信息熵。信息熵常被用来作为一个系统的信息含量的量化指标,从而可以进一步用来作为系统方程优化的目标或者参数选择的判据。在决策树的生成过程中,就使用了熵来作为样本最优属性划分的判据。下面按照本人的理解来系统梳理一下有关熵的概念。1 信息量信息量即信息多少的度量。公式表达如下:即如果事件概率越大,该携带的信息量越小;事件概率越小,该...原创 2020-07-27 17:03:14 · 3232 阅读 · 1 评论 -
【机器学习】判别模型vs生成模型、概率模型vs非概率模型
参考:生成模型 VS 判别模型 (含义、区别、对应经典算法) 机器学习“判定模型”和“生成模型”有什么区别?判别模型和生成模型的区别,主要在于概率分布。对于一堆样本数据,第i个样本的特征为Xi(特征维度可以是j),对应的分类标记为Yi,则:判别模型:学习到条件概率分布P(Y|X),即在特征X出现的情况下标记Y出现的概率,是后验概率。判别式模型求得P(Y|X),对于一个样本的特征X,根据P(Y|X)可以求得标记Y,即可以直接判别出来样本的类别,如下图的左边所示,实际是就是...原创 2020-07-26 17:31:05 · 4821 阅读 · 0 评论 -
【机器学习】贝叶斯分类器与朴素贝叶斯
贝叶斯分类器在介绍贝叶斯分类器之前,首先需要知道先验概率、后验概率以及全概率的相关概念及计算公式,这里不再赘述。(1)贝叶斯公式的一般形式 这个公式用于计算A发生情况下,B发生的概率,往往A是结果,B是可能导致这一结果的某一因素。(2)对于分类问题的贝叶斯公式我们可以将上述一般形式下的贝叶斯公式看成如下: ...原创 2020-07-23 19:03:58 · 1309 阅读 · 0 评论 -
【概率论】极大似然估计和最大后验估计
目录1.概率模型和非概率模型1.1 非概率模型1.1 概率模型2 频率学派和贝叶斯学派2.1 频率学派2.2 贝叶斯学派3. 极大似然估计3.1 什么是极大似然估计3.2 极大似然原理及数学表示3.3 极大似然估计法(Maximum Likelihood Estimation,MLE)3.4 极大似然估计法求估计值的步骤3.5 例题1.概率模型和非概率模型要介绍极大似然估计和最大后验估计,就要先从概率模型和非概率模型说起。极大似然估计和最大后验估计都.原创 2020-07-23 14:45:44 · 9224 阅读 · 1 评论 -
【概率论】概率分布函数
概率分布函数基本介绍在实际问题中,常常要研究一个随机变量X取值小于某一数值x的概率,这概率是的函数,称这种函数为随机变量X的概率分布函数,记作,如下: 显然有:、。概率分布函数完整地描述了随机变量X的统计特性,由它可以决定随机变量落入任何范围内的概率。 ...原创 2020-07-23 10:50:22 · 7405 阅读 · 0 评论 -
【机器学习】逻辑回归原理
目录1、分类和回归2、逻辑回归3、推导逻辑回归3.1 从手推线性回归开始3.2 逻辑回归代价函数3.3 逻辑回归推导4、例子参考:手推逻辑回归--面试前拯救一下 手推记录-logistic regression (逻辑斯蒂回归)1、分类和回归 回归(Regression)和分类(Classification)是机器学习中...原创 2018-12-02 21:49:43 · 555 阅读 · 0 评论