sinat_40624829的博客

PRML第二章下-非参数估计1.直方图2. 核方法3. K近邻概率密度建模-参数化方法-概率密度的形式一定，由数据集确定密度中的参数即可。局限性–概率模型选的不对，不能够描述数据模态此时，介绍一下非参数方法–直方图，核方法， K紧邻1.直方图直方图–密度估计–每个直方处密度,nin_ini​该直方内的样本数，N总样本数，Δ\DeltaΔ该直方宽度pi=niNΔip_i=\frac{n_i}{N\Delta_i}pi​=NΔi​ni​​缺点：在直方交界处概率密度不连续D维变量，每个维度

PRML第二章2.1二元变量2.1.1 beta 分布2.2 多项式变量简单的模型中讨论一些关键的统计学概念–贝叶斯推断本章讨论概率分布是为了实现密度估计：给定有限次观测x1,...,xN\bm{x}_1,...,\bm{x}_Nx1​,...,xN​,对随机变量x\bm{x}x的概率分布p(x)p(\bm{x})p(x)建模。密度估计本来是病态的，因为产生观测数据集合的概率分布可能有无限种。本章主要内容：1.参数分布：拥有少量可以调节的参数，控制了整个分布。密度估计就是确定参数的过程–离散随

PRML绪论1.3 模型选择1.4 纬度灾难1.5 决策论1.5.1最小错误分率1.5.2最小化期望损失1.5.3拒绝选项1.5.4推断和决策1.5.5 回归问题的损失函数1.3 模型选择模型过复杂会造成过拟合问题，需要通过一些技术来降低模型的复杂度。就最大似然而言，可以增加一个惩罚项来补偿过于复杂的模型造成的过拟合问题。赤池信息准则，使式1.73最大,M是模型中可调节参数的数量：lnp(D∣wML)−Mlnp(\mathcal{D}|\bm{w}_ML)-Mlnp(D∣wM​L)−M1.73

PRML绪论