qq_32464407的博客

代码地址：https://github.com/ChengJiacheng/bayesian-analysis/blob/master/GMM.py有时候，某些数据的生成无法用一个简单的高斯分布描述，但可以用高斯分布的组合来描述。这种假设数据是从一系列分布的组合中产生的模型，称作混合模型。混合模型中我们需要一个隐变量来描述数据是从哪个分布产生的，这个隐变量是一个categorical变量，描述...

代码地址：https://github.com/ChengJiacheng/bayesian-analysis/blob/master/LR.py线性回归是统计学习中的常见问题，即求解线性模型y=α+βx中的参数α、β。通常的做法是最小二乘法（最小均方误差法），将参数估计问题（the problem of estimating α and β）转化成了一个最优化问题（an optimizati...

代码地址：https://github.com/ChengJiacheng/bayesian-analysis/blob/master/RobustLR.py有时我们的数据中会有异常点，会对回归的结果造成很大的影响。根据此前鲁棒推断的经验，我们将数据的先验分布改为t分布再进行推断，可以得到鲁棒的结果。...

 高斯分布是一个非常简单而有用的分布，一方面是因为高斯分布数学上分析起来是否简单。另一个原因可能是中心极限定理（CLT），大致是说当样本数足够多时，样本均值会呈正态分布。我们可以用高斯分布来对某一观测指标的分布进行建模，高斯分布的两个参数均值、标准差的先验可以用均匀分布、半正态分布。 # -*- coding: utf-8 -*-import numpy as npim...

抛硬币问题可能是贝叶斯推断中最基础的一个入门问题，该问题简单来说就是对一枚硬币出现正面朝上的概率θ进行估计。不同于MLE, MAP等估计方法求出的是一个估计值，贝叶斯分析求出的是一个后验分布（用贝叶斯公式）。θ的先验通常选用beta分布，n次观测正面朝上次数y的似然则可以用参数为n和θ二项分布来描述。用数学表达式描述如下θ ~ Beta(α, β)，y~ Bin(n, p = θ).这里顺...

贝叶斯分析的目标就是根据先验分布(prior distribution)和观测数据(data)求后验分布(posterior distribution)，计算机不能存储连续的分布，也就不能通过分析的方法求出后验，而是只能通过对分布进行采样离散化存储，这样就引出了对（先验）分布采样的问题。求参数后验的问题又称为推断问题（Inference），解决推断的方法主要分为Non-Markovian meth...

贝叶斯框架下, 可以用高斯过程来估计一个函数 f : R→R. 对于每个xi, f(xi)可以用一个均值方差暂未知的高斯分布来建模。因为连续空间的xi可以有无限个，拟合一个函数的高斯过程其实一个无限维的多元高斯。实际中，不管是我们的给定数据{(x, y)}，还是测试点{x*}的个数都是有限的。因此无论是高斯过程先验还是还是高斯过程后验都是有限维的。因为多元高斯分布的任意有限自己还是多远高斯分布，所...