概率基础
文章平均质量分 74
energy_百分百
while(1){慢几步,深几度}
展开
-
#深入理解# 决策树综述(ID3、C4.5、CART)
目录1. 构造决策树的依据1.1 信息增益度1.2信息增益率1.3基尼系数2. ID3 vs C4.5 vs CART3. 剪枝操作3.1 预剪枝3.2 后剪枝4. 关于 ID3、C4.5、CART 的几个问题1. 构造决策树的依据决策树的构造,从本质上讲就是每次将样本分成几组,目标是让每一组中的类别尽可能单一(每组的熵加权相加后的值尽可能的小)ID3中使用最大化信息增益度对样本进行分组,C4.5中使用最大化信息增益率对样本进行分组,CART中使用最小化分..原创 2021-07-11 20:02:38 · 597 阅读 · 0 评论 -
Z检验、T检验下 P-value 和置信区间的计算
目录1.置信区间的计算1.1 总体方差已知1.2总体方差未知2.计算 P-Value2.1 总体方差已知2.2总体方差未知1.置信区间的计算根据总体分布(T分布或者Z分布)和规定的置信度计算总体均值在指定置信度下的置信区间,然后将实验值和置信区间比较,若在置信区间之外(小概率事件发生)则表示实验统计量和总体统计量存在显著差异1.1 总体方差已知总体方差已知时,根据总体均值和方差,使用Z分布计算置信区间,公式如下:其中: 表示样本均值 表...原创 2021-07-07 17:22:19 · 17762 阅读 · 0 评论 -
#详细解读# 线性回归、逻辑回归及其损失函数
1. 线性回归线性回归输入如果是连续的,输出必然也是连续的,形式是损失函数一般使用 MSE、RMSE、MAE等,因为逻辑回归输出值是0~1本身给出的就是一个该概率值,而线性回归没有激活函数需要使用某种方式构造一种损失,那么最容易想到的便是最小二乘或RMSE,MAE等2. 逻辑回归(LR)逻辑回归在线性回归的基础上增加了激活函数(sigmoid)将输出限制在0到1,因此我们用交叉熵作为逻辑回归的损失函数,这里简述以下交叉熵和sigmoid激活函数:2.1 交叉熵1. 熵的定义:.原创 2021-07-05 16:43:46 · 2410 阅读 · 0 评论 -
#透彻理解# GMM+HMM 语音识别模型 [识别+训练] 过程
1.识别过程:对于每一帧的特征,根据状态转移矩阵A,2. 训练过程:使用k-means等方法初始化每个状态对应GMM中每个高斯分布的权重参数原创 2021-07-02 22:11:39 · 1985 阅读 · 1 评论 -
通俗理解隐马尔可夫模型(HMM)
HMM(隐马尔可夫模型)对于一个观测序列,我们认为这个观测序列是由另一个状态序列输出的,而这个状态序列我们称之为隐马尔可夫链隐马尔可夫链每次可以输出一个观测值,但是一个观测值一次只能被一个状态输出;HMM 的每一个状态输出完一个观测值后会根据概率转换到其他状态(其他状态也包括自身状态)然后在下一个状态下在输出下一个观测值,直到输出所有观测值时结束一个HMM包含三组参数(π,A,B\pi,A,Bπ,A,B):数组π\piπ:表示初始化时每种状态被选择的概率(初始概率分布);矩阵A(N * N,N=原创 2021-06-28 23:35:24 · 1711 阅读 · 2 评论 -
#通俗理解# 从极大似然估计(MLE)到最大期望(EM)算法
顾名思义,最大期望算法就是让某个函数的期望最大化从而得到最优参数,首先我们先要了解期望的公式:期望本质上就是根据随机变量的分布对函数值的加权求和,平均值是期望的一种特殊形式,平均值假设随机变量取到每种值得概率相同(均分分布)EM算法一般用来求解混合模型的参数,因为混合模型一般是多个不同参数模型的加权和,这种形式很难通过导数为零的方法得到每个参数的解析解;EM算法思想是让多个模型对应的似然函数同时最大化;在进一步说,EM算法有两部分参数:一部分是混合模型中各模型的权重参数,我们这里称之为隐变量Z;一原创 2021-06-24 23:10:58 · 3343 阅读 · 3 评论 -
对极大似然估计(MLE)和极大后验估计(MAP)的通俗理解
概率与统计对于这个函数:P ( x ∣ θ )输入有两个:x表示某一个具体的数据;θ表示模型的参数。如果 θ 是已知确定的,x是变量,这个函数叫做概率函数(probability function),它描述对于不同的样本点x,其出现概率是多少,求解x的过程属于概率学范畴。如果x是已知确定的,θ是变量,这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数,出现x这个样本点的概率是多少,求解θ的过程属于统计学范畴。也有人上上述两种问题称之为描述统计学(原创 2021-06-01 17:22:51 · 289 阅读 · 0 评论 -
#深入解读# 机器学习中的指数函数和对数函数的作用
在学习机器学习相关理论时,我们常常会会在公式中遇到指数函数和对数函数,但是很时候我们并不理解这些函数的的真正作用,这里结合几个机器学习中的公式来具体分析一下指数函数和对数函数的作用指数函数由上图可知:指数函数的自变量范围是(-∞,+∞),因变量范围是(0,+∞)当指数函数自变量范围在(-∞,0)时,因变量输出范围为(0,1)因此,在神经网络中我们可以用指数函数的这两个性质对数据进行(-∞,+∞)到(0,+∞)或者(-∞,0)到(0,1)的映射softmax函数就是一个使用指数函数将神经网络原创 2021-03-14 20:08:47 · 2027 阅读 · 1 评论 -
#本质上理解# 熵、交叉熵、KL散度的关系
1. 两者的关系【1】熵:可以表示一个事件A的自信息量,也就是A包含多少信息。【2】KL散度:可以用来表示从事件A的角度来看,事件B有多大不同。【3】交叉滴:可以用来表示从事件A的角度来看,如何描述事件B。一句话总结的话:KL散度可以被用于计算代价,而在特定情况下最小化KL散度等价于最小化交叉熵。而交叉熵的运算更简单,所以用交叉熵来当做代价。2. 交叉熵的计算Gamma公式展示 Γ(n)=(n−1)!∀n∈N\Gamma(n) = (n-1)!\quad\foralln\in\mathbb N原创 2021-01-05 09:55:13 · 1845 阅读 · 0 评论 -
数值解与解析解
解析解(analytical solution)就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题. 解析解,又称为闭式解,是可以用解析表达式来表达的解。 在数学上,如果一个方程或者方程组存在的某些解,是由有限次常见运算的组合给出的形式,则称该方程存在解析解。数值解(numerical solution)是采用某种计算方法,如有限元的方法, 数值逼近,插值的方法, 得到的解.别人只能利用数值计算的结果, 而不能随意给出自变量并求出计算值. 当无法由原创 2021-02-25 19:52:45 · 763 阅读 · 0 评论 -
#通俗理解# 极大似然估计(ELM)
首先我们不要你这个名称吓到,极大似然估计我们可以理解为一种通过最大化似然函数而对概率分布中的参数进行估计的方法,目的是估计概率分布中的参数,方法是最大化似然函数,这样是不是就很好理解了。想要了解极大似然估计,我们首先就要理解一下什么是似然函数,似然函数是某一事件发生的概率(某一组相互独立的样本取到某组特定值的联合概率),其中自变量是分布参数θ,特定事件发生的概率随θ的不同而不同很多人会混淆似然函数和概率密度分布函数的关系,想了解似然函数和概率密度分布函数的关系请参考博主的这篇文章->#深入理解原创 2021-02-25 10:41:31 · 1161 阅读 · 0 评论 -
#深入理解# 概率密度分布函数和似然函数
似然函数是某一特定事件发生的概率,其中自变量是分布参数θ,特定事件发生的概率随θ的不同而不同概率密度分布函数是不同事件发生的概率,自变量是样本取值,这样说可能不便于理解,下边通过二项分布概率公式说明:上边是二项分布计算概率的一般公式,似然函数中的自变量是公式中的p,而概率密度分布函数中的自变量是公式中的k如果你还是不理解,这里引用quora上的一个回答 What is the difference between probability and likelihood我们可以再做一个类比,假设一原创 2021-02-25 10:09:59 · 3179 阅读 · 0 评论