科研生
文章平均质量分 85
麓山君陌
在校科研生
展开
-
贝叶斯例题(一)先验分布与后验分布
第一章 先验分布与后验分布例1.2.1设事件A的概率是θ\thetaθ,有n次独立观测,事件A出现的次数为x,求后验分布解:首先写出先验分布π(θ)\pi(\theta)π(θ),由于没有,故采用0-1上的均匀分布π(θ)={10<θ<10other\pi(\theta)=\begin{cases}1&0<\theta<1\\0&other\end{cases}π(θ)={100<θ<1other再求解x的分布函数p(x∣θ)=Cnxθx(1原创 2021-12-03 18:46:25 · 5850 阅读 · 0 评论 -
贝叶斯(一)先验分布与后验分布
一、先验分布与后验分布先验分布:将一个未知量θ\thetaθ(这个θ\thetaθ并不是样本x)看做随机变量,应用一个概率分布在抽样前描述关于θ\thetaθ的先验信息的概率陈述,即先验分布总体信息:样本x所属的数据空间X的分布情况样本信息:样本x自身的分布情况,一般用P(x∣θ)=∏i=0nP(xi∣θ)P(x|\theta)=\prod_{i=0}^nP(x_i|\theta)P(x∣θ)=∏i=0nP(xi∣θ)表示后验分布:根据先验分布和样本信息通过贝叶斯公式得到的针对未原创 2021-11-28 12:13:17 · 11056 阅读 · 1 评论 -
贝叶斯课后习题(五)贝叶斯决策
贝叶斯决策有x服从B(3,θ)B(3,\theta)B(3,θ)因为先验在例题中提到是U(0,0.12)U(0,0.12)U(0,0.12),所以假设为[0,0.12][0,0.12][0,0.12]上的均匀分布π(θ)=10.12,0<θ<0.12\pi(\theta)=\frac1{0.12},0<\theta<0.12π(θ)=0.121,0<θ<0.12可有x的概率分布函数p(x∣θ)=C3xθx(1−θ)3−xp(x|\theta)=C_3^x\t原创 2021-12-03 18:51:51 · 1754 阅读 · 0 评论 -
贝叶斯课后习题(一)先验分布与后验分布
先验分布与后验分布先验概率可以写为:π(θ){0.1,0.70.2,0.3\pi(\theta)\begin{cases}0.1,0.7\\0.2,0.3\end{cases}π(θ){0.1,0.70.2,0.3x服从二项分布B(8,θ)B(8,\theta)B(8,θ)即p(x∣θ)=C8xθx(1−θ)n−x={C8x0.1x(1−0.1)8−xC8x0.2x(1−0.2)8−xp(x|\theta)=C_8^x\theta^x(1-\theta)^{n-x}=\begin{cases}C原创 2021-12-03 18:49:39 · 2120 阅读 · 0 评论 -
贝叶斯例题(四)决策中的收益、损失与效用
第四章 决策中的收益、损失与效用例4.1.4取θ\thetaθ用来表示市场需求量,这是具有随机性的变量。用a来表示购买量,这是人可以确定的行动,此时便有收益函数Q(θ,a)={1.1∗0.9∗a−0.65∗a0.9∗a≤θ1.1∗θ−0.65∗a+(0.9∗a−θ)∗0.30.9∗a>θQ(\theta,a)=\begin{cases}1.1*0.9*a-0.65*a&0.9*a\le\theta\\1.1*\theta-0.65*a+(0.9*a-\theta)*0.3&0.9原创 2021-12-03 18:47:48 · 1714 阅读 · 0 评论 -
贝叶斯(二)贝叶斯推断
二、贝叶斯推断条件方法:基于后验分布(条件分布)的统计推断方法,只考虑当前的样本和数据,与未出现的数据无关。经典推断方法由于没有把未知量当做随机变量,所以只能从区间上进行变化,如给定一百个随机区间,这个未知量落在区间内的概率被当做推断条件。而贝叶斯推断可以直接把未知量当做随机变量,其落在某个区间内的概率当做推断条件。贝叶斯估计:最大后验估计θMD\theta_{MD}θMD:使后验密度π(θ∣x)\pi(\theta|x)π(θ∣x)达到最大值的θ\thetaθ后验中位数估计θMe原创 2021-11-28 12:13:58 · 2453 阅读 · 0 评论 -
贝叶斯(三)先验分布的确定
三、先验分布的确定主观概率(离散型)利用对立事件的比较确定主观概率,例如成功的概率比失败高一倍利用专家意见确定主观概率利用多位专家确定主观概率利用历史资料,考虑现有信息加以修正利用先验信息确定先验分布(连续型):直方图法:将参数空间分成小区间在每个小区间上决定主观概率或依据历史数据确定其频率绘制频率直方图在直方图上做一条光滑曲线,即为先验分布选定先验密度函数形式再估计超参数根据先验信息选定θ\thetaθ的先验密度函数π(θ)\pi(\theta)π(θ)形式原创 2021-11-28 12:14:30 · 5501 阅读 · 0 评论 -
贝叶斯课后习题(四)决策中的收益、损失与效用
决策中的收益、损失与效用这里行动集是{大、中、小},状态集是{畅销、一般、知晓}(大中小1005010畅销30409一般−60−206滞销)\left(\begin{array}{cc}大&中&小\\100&50&10&畅销\\30&40&9&一般\\-60&-20&6&滞销\end{array}\right)⎝⎜⎜⎛大10030−60中5040−20小1096畅销一般滞销⎠⎟⎟⎞maxamin原创 2021-12-03 18:51:11 · 1048 阅读 · 0 评论 -
贝叶斯例题(二)贝叶斯推断
第二章 贝叶斯推断例2.2.2求二项分布的共轭先验分布贝塔分布的最大后验估计和后验期望估计解:对二项分布B(n,θ)B(n,\theta)B(n,θ),共轭先验分布Be(α,β)Be(\alpha,\beta)Be(α,β)有后验分布Be(α+x,β+n−x)Be(\alpha+x,\beta+n-x)Be(α+x,β+n−x)即π(θ∣x)=Γ(α+β)Γ(α)Γ(β)θα−1(1−θ)β−1\pi(\theta|x)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\a原创 2021-12-03 18:47:05 · 3305 阅读 · 0 评论 -
贝叶斯课后习题(零)常用分布
常用的分布:分布名分布函数均值方差均匀分布U(a,b)U(a,b)U(a,b){1b−a(a,b)0other\begin{cases}\frac1{b-a}&(a,b)\\0&other\end{cases}{b−a10(a,b)othera+b2\frac{a+b}22a+b(a−b)212\frac{(a-b)^2}{12}12(a−b)2伽马分布Ga(α,β)Ga(\alpha,\beta)Ga(α,β)βαΓ(α)xα−1e−βx\原创 2021-12-03 18:48:52 · 521 阅读 · 0 评论 -
贝叶斯(四)决策中的收益、损失与效用
四、决策中的收益、损失与效用决策问题的三要素决策:对一件事情做决定,与推断的差别在于是否设计后果贝叶斯决策:把损失函数加入贝叶斯推断就是贝叶斯决策,损失函数被称为贝叶斯统计中的第四种信息三要素:状态集Θ={θ}\Theta=\{\theta\}Θ={θ}:其中每个元素表示可能的一种状态,具有随机性行动集A={a}A=\{a\}A={a}:其中a表示人对状态可能采取的一种行动,不具有随机性收益函数Q(θ,a)Q(\theta,a)Q(θ,a):函数值表示某一状态下采用某种行动所获得的收益原创 2021-11-28 12:15:03 · 1788 阅读 · 0 评论 -
贝叶斯(五)贝叶斯决策
五、贝叶斯决策贝叶斯决策问题将决策中的先验分布π(θ)\pi(\theta)π(θ)换为贝叶斯中的后验分布π(θ∣x)\pi(\theta|x)π(θ∣x)即可,需要样本f(a,x)=∫ΘL(θ,a)π(θ∣x)dθf(a,x)=\int_{\Theta}L(\theta,a)\pi(\theta|x)d\thetaf(a,x)=∫ΘL(θ,a)π(θ∣x)dθ,x为样本,这个是损失函数关于后验分布的期望,即后验期望损失a∗最优决策=δ(x)是样本的一个函数=argminaf(a,x)让原创 2021-11-28 12:15:34 · 1596 阅读 · 0 评论 -
贝叶斯课后习题(二)贝叶斯推断
贝叶斯推断有先验分布π(θ)=1,0<θ<1\pi(\theta)=1,0<\theta<1π(θ)=1,0<θ<1一次观察,此时样本的分布函数为p(x∣θ)=θ(1−θ)xp(x|\theta)=\theta(1-\theta)^xp(x∣θ)=θ(1−θ)x可有联合密度函数h(x,θ)=p(x∣θ)π(θ)=θ(1−θ)xh(x,\theta)=p(x|\theta)\pi(\theta)=\theta(1-\theta)^xh(x,θ)=p(x∣θ)π原创 2021-12-03 18:50:28 · 2755 阅读 · 0 评论 -
机器学习(一):PLA&POCKET
实际上就是线性分类的感知机算法PLA和针对非线性的适用算法POCKETy(标签)={-1(bad),1(good)}h(x)=sign((∑i=1dwixi)−threshold(阈值))=sign(wTx)h(x)=sign((\sum^d_{i=1}w_ix_i)-threshold(阈值))=sign(w^Tx)h(x)=sign((∑i=1dwixi)−threshold(阈值))=sign(wTx)wT是超平面的法向量,为{w1,w2,...,wn,d}其中d为偏执量,w的维度与x样本原创 2021-11-17 23:27:24 · 965 阅读 · 2 评论