小样本时的概率估算

最新推荐文章于 2023-11-07 17:50:29 发布
最新推荐文章于 2023-11-07 17:50:29 发布
阅读量2.2k 收藏
点赞数
分类专栏： 我的文档 文章标签： 小样本 概率优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/axuanwu/article/details/46770541
版权
本文探讨了小样本情况下概率的估算方法，主要来源于自然语言处理领域的研究，但适用于更多小样本集问题。文章介绍了多种估算技术，并强调好的修正方法应确保所有情况概率和为1，这些方法在实际应用中可灵活运用。
摘要由CSDN通过智能技术生成


本文严重参考了《Foundations of Statistical Natural Language Processing》和《MaximumEntropy Language with Non-Local Dependencies》（吴军）；侵权则删。本文本着传播信息的不失真的理念，主要对其中的知识进行了原封不动的诠释，并无其他改变。（编辑公式太坑了，word拷贝过来公式不能显示，直能从word上截图的，大家凑合一下）


最低0.47元/天 解锁文章
阿宣22
关注
专栏目录
小样本分析（二）
axuanwu的专栏
07-21 3754
东西写好之后，确认了几件事情，今天拿出来水一下。公式这个真是麻烦死了，markDown也不好用，只好把word里面的公式都去掉，重新写一点。 引子：        一个暗盒子里面装满了球（认为足够多），拿出一个球发现是红球，再拿出一个还是红球的概率是多少？小样本分析主要回答的就是这一类问题。在以前的遇到这些问题时往往会以抽样样本数量太少不具备统计学意义为理由，拒绝回答这类“没有意义”的问题
小样本分析
axuanwu的专栏
02-07 8038
投石问路：我们先从简单问题开始。有一个袋子里面有2个球，随机拿出一个来，是红球（不放回），那么再拿出一个，这个球还是红球的概率是多少？请读者们仔细想想怎么回答这个概率问题。
概率论之样本
lixixi
02-12 2240
忧患 点估计—置信区间 置信区间—-名称解析 置信区间（confidence interval):用来估计总体参数真实值的一个区间，通常形式：估计值+-误差界限 误差界限（margin of error ) : 估计值的最大误差，使用E表示 置信区间 总体比例的区间估计 要求： 样本要为简单随机样本 二项分布的条件分布 至少要有５个成功，５个失败，即ｎｐ＞＝５，ｎ...
样本概率统计
weixin_30674525的博客
12-06 943
1.ztest-已知,单个正态总体的均值μ的假设检验(U检验法) 格式： h = ztest(x,m,sigma)% x为正态总体的样本,m为均值μ0,sigma为标准差,显著性水平为0.05(默认值) h = ztest(x,m,sigma,alpha) %显著性水平为alpha [h,sig,ci,zval] = ztest(x,m,sigma,alpha,tail) %sig为观察值...
小样本大概率事件的正确处理方式 - 2. 结果分析
学无止境
05-18 1579
接上一篇 小样本大概率事件的正确处理方式 - 1. 概率的含义和误差产生的原因 首先，对于传统的“分别判断样本中每个事件是否发生”，我称之为概率约束；而“提前对样本内的事件发生频次进行预处理”，我称之为样本约束。 然后，这次随机我使用三个互斥事件：从0,1,2三个数字中取一个，取出0的概率为20%，取出1的概率为30%，取出2的概率为50%。并且，我提高样本的大小到1000。 接着，为了让结...
关于样本量的快速证明
Bing's Blog
11-16 1031
关于样本量的快速证明@(概率论) 设X1,X2,...,XnX_1,X_2,...,X_n为总体X的一个样本，EX=μ,DX=σ2<∞EX=\mu,DX = \sigma^2 < \infty, 求EX⎯⎯⎯,DX⎯⎯⎯,和ES2E\overline X,D\overline X,和ES^2分析：这些是作为基本量掌握的。这里给出证明。 需要明确的是，样本序列中Xi,Xj,i≠jX_i,X_j,
最小误判概率法估算阈值和Otsu 阈值法的区别
05-23
最小误判概率法的缺点是对于非高斯分布的图像样本，误差可能较大。 Otsu阈值法是一种基于直方图的方法，它假设图像中存在两个类别：背景和前景。它寻找一个阈值，使得图像的方差最小。具体而言，它是通过最大化类间...
运营策略实验最小样本量的确定
weixin_42401301的博客
08-03 1432
1、问题 传统运营业务是人力驱动的。人力的有限性，必然导致运营覆盖的用户往往是有限的，比如头部用户或者高潜用户。因此，运营业务线的数据分析师往往遇到小样本量的策略实验。 样本过小通常有如下问题：1）效力不足，无法得出“新策略”更好的结论；2）实验白做。 2、如何确定最小样本量 2.1 基础知识 a. 两类错误和功效 我们将“新旧策略效果一致”作为H0假设。 统计推断 H0实际正确 H0实际错误 接受H0假设 正确 取伪错误（β\betaβ） 拒绝H0假设 拒真错误（α\alphaα） 正
小样本分析（三）
axuanwu的专栏
10-07 4528
虔诚的我提出一个问题，希望知识能给我答案，然而他以一个新的问题作为回答。 导读： 这篇是继前两篇小概率估算的后续，很多地方没有说，建议先粗略看一下前面的，了解一下估算的思路。由于公式较多直接从word截图偷个闲。 条件极值： 【注：拉格朗日乘数法我也忘记得差不多了，在网上找到的例子也主要是只有一个约束条件，这里到两个约束的拓展有点不确定，但是先做了】 不难发现在 al
小样本大概率事件的正确处理方式 - 3. 实际使用
学无止境
05-22 2458
在之前的两篇文章中，我主要对概率约束和样本约束做了比较。 （详情点击 《小样本大概率事件的正确处理方式 - 1. 概率的含义和误差产生的原因》 和 《小样本大概率事件的正确处理方式 - 2. 结果分析》） 结论简单点说就是：概率约束误差大，但是简单；样本约束精确，但是复杂。 从其复杂度上去比较，产生n次随机事件，概率约束的时间复杂度是O(n)，空间复杂度是O(1)。而样本约束，由于要提前将样...
数据分析之样本量-大样本与小样本的区分
当我把这件事情做出来的时候，我想要的东西就已经拿到了
05-23 1万+
小样本是指样本量较少的情况，具体多少才算小样本并没有一个确切的标准，一般来说，小样本的定义受到具体问题和研究领域的影响。简单来说，当样本量少到无法满足正态分布、中心极限定理等假设条件时，就可视为小样本。在某些研究领域中，如生物医学研究、心理学研究等，样本量一般较少，小于30或50的样本通常被认为是小样本。而在其他一些领域，如大数据分析、金融统计等，数百万甚至数亿的数据都是常态，少则数百、数千的样本就可能被视为小样本。因此，小样本的具体定义需要根据研究领域、具体问题和样本特征等因素来定量化。
小样本大概率事件的正确处理方式 - 1. 概率的含义和误差产生的原因
学无止境
05-16 4426
问题描述 在很多时候——特别是在游戏中——我们经常需要对某一事件进行随机触发处理，例如：攻击有几率触发暴击，怪物有几率掉出装备，武器有几率强化失败。通常我们的做法就是，从0~1中取随机数，然后判断是否大于给出的几率（实际上大多数时候为了计算效率会用0~100的随机整数）。 当我们从整个游戏世界上去统计这个随机事件时，无论这个概率是小概率还是大概率，得到的结果与我们的期望都不会有很大的差别。但是...
【学习笔记】小样本学习（Few-shot Learning）
iioSnail的博客
04-09 2万+
参考视频：https://www.youtube.com/watch?v=UkQ2FVpDxHg 基本概念 小样本学习（few-shot learning）是什么：就是使用很少的样本来进行分类或回归 Few-shot Learning的目标：让机器学会自己学习 小样本学习的直观理解： ① 前提：首先要知道，训练一个模型的目的不是为了让模型如何分辨大象和蚂蚁，而是让模型具有判断图片“异同”的能力，即让模型看到两张图片后，它能分别出这俩是不是一个类别。这样，当我们在用大数据集训练出一个分类器后，在测试阶段给.
随机变量的概率分布
shitou987的博客
04-13 6119
待补充
西瓜书笔记
最新发布
Moliay的博客
11-07 2123
下列关于Boosting算法中样本权重调整的说法中错误的是哪个？A、所有样本的权重和保持不变B、前一个基学习器分错的样本会获得更大的权重C、只要权重调整的方向正确，Boosting算法的性能就可以获得理论保证D、决策树可以直接处理带权重的样本解析：CBoosting是一种____ (同质/异质) 集成学习方法。解析：同质下列关于Bagging算法描述中错误的是哪个？A、Bagging算法中每个基学习器使用相同的数据集B、分类任务中使用投票法获得输出。
概率图模型
yunxinan的专栏
11-03 4196
http://mp.weixin.qq.com/s/e3c06On19arU2R5nPahm7w 017年10月26日，科学期刊《Science》上刊发了知名人工智能创业公司Vicarious的一项最新研究[1] — “A generative vision model that trains with high data efficiency and breaks text-based CAPT
推荐系统中的最小样本量和参数估计
蚂蚁搬家
02-05 6772
点估计和区间估计 假设数据总体数量是N，总体均值u，总体标准差σ，样本大小是n，样本均值u’，样本标准差σ’，样本中符合条件A的占比(比如推荐系统中点击占比)：p’ 点估计 从总体中抽取一个样本(batchsize=n)，得到样本均值u’，样本标准差σ‘，（推荐系统中)样本点击率ctr等，这些样本参数都是对总体的一个点估计。 标注误差SE 抽取n个样本，分别计算其均值u’1，u’2，… 这些值的...
临床试验中的样本量估算---理论篇
热门推荐
Big brother的博客
12-12 2万+
本文描述的是常用的临床试验样本量估算方法及背景知识，如组数最多涉及两组、总体为正态总体、假设检验方法为Z检验或T检验。 一、临床试验中的样本量 临床试验中的样本量指的是在指定的显著性水平α\alphaα下，以期望的统计效能1−β1-\beta1−β检验出具备临床意义的差异，所需的最小的样本量。 二、样本量估算公式 样本量的估算公式主要与以下6个因素相关： 临床试验设计类型 如单样本试验、配对试验、平行对照试验 临床试验评价指标类型 定量指标：评价定量资料的指标，如平均误差，标准差； 定性指标：评价定性.
统计中样本量估算公式？
08-20
样本量估算公式一般是按照总体参数的精确度和样本容量的大小来确定的，一般公式为：n=（zα/2/ε）2*σ2/d2，其中，zα/2是置信度为α时的临界统计量，ε是所允许的误差，σ2是总体方差，d2是所期望的精确度。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值