“傻瓜”学计量——核密度估计KDE

最新推荐文章于 2024-10-05 17:05:24 发布
最新推荐文章于 2024-10-05 17:05:24 发布
阅读量4.4k 收藏 29
点赞数 16
分类专栏： 计量 文章标签： python 开发语言 笔记 学习方法 机器学习 数据分析 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nnpersistent/article/details/137957570
版权
本文介绍了核密度估计(KDE)的基本概念，它是非参数估计方法，用于估计样本数据的概率密度函数。通过直方图的扩展和窗口宽度的选择讨论了其工作原理，并提供了R语言中的代码示例，展示了如何使用`twowaykdensity`函数进行可视化和调整参数。
摘要由CSDN通过智能技术生成

提纲：

什么是核密度估计，是干什么的

代码

1 前言

参数估计vs非参数估计
参数估计是样本数据来自一个具有明确概率密度函数的总体。
非参数估计是样本数据的概率分布未知，这时，为了对样本数据进行建模，需要估计样本数据的概率密度函数。

核密度估计Kernel Density Estimation即是非参数估计的一种方式。即，核密度估计的目的：就是估测所给样本数据的概率密度函数。在论文中的应用就是解读演化趋势。

KDE的数学公式推导请看核密度估计（KDE）原理及实现-CSDN博客

2 核密度估计是什么

用有限的样本推断总体数据的分布，因此，核密度估计的结果即为样本的概率密度函数估计。

1.1 从直方图理解核密度估计图

核密度估计其实是对直方图的一个自然拓展。

第一，我们看密度的时候会先画直方图，用以表示样本数据的分布，帮助分析样本数据的众数、中位数等性质，横轴表示变量的取值区间，纵轴表示在该区间内数据出现的频次与区间的长度的比例。

第二，一个很自然的想法是，如果我们想知道X=x处的密度函数值，可以像直方图一样，选一个x附近的小区间，数一下在这个区间里面的点的个数，除以总个数，应该是一个比较好的估计。用数学语言来描述，如果你还记得导数的定义，密度函数可以写为：

f(x)=\lim _{h\rightarrow 0}\frac{F\left ( x+h \right )-F\left ( x-h \right )}{2h}

那么一个很自然的问题来了，h该怎么选取呢？

这也就是非参数估计里面的bias-variance tradeoff：如果h太大，用于计算的点很多，可以减小方差，但是方法本质要求h→0，bias可能会比较大；如果h太小，bais小了，但是用于计算的点太少，方差又很大。

第三，所以理论上存在一个最小化mean square error的一个h。一般我们会把h叫做「窗宽（bandwidth）

此时的概率分布图将会比较光滑，如右：

2 核密度估计KDE代码

1  
ssc install kdens

安装指令

2twoway kdensity 变量名

画出这个变量的核密度曲线

twoway是一个二维坐标

kdensity是核密度函数图

3twoway kdensity 变量名 [aw=变量名2]

考虑权重

aw

4twoway kdensity 变量名1 [aw=变量名2] if 变量名1<=300000，bw(10000)

限制横坐标最大值

300000横坐标最大值300000

bw(10000)是设置带宽10000

5twoway kdensity 变量名1 [aw=变量名2] if 变量名1<=300000，bw(10000) lp(dash)

lp(dash) 线型是虚线

dash 虚线 

solid 实线

longdash 长虚线

longdash_dot 长虚线加点

shortdash 短虚线

6twoway kdensity 变量名1 [aw=变量名2] if 变量名1<=300000，bw(10000) lp(dash) color(black)color(black) 线是黑白色
7twoway kdensity 变量名1 [aw=变量名2] if 变量名1<=300000，bw(10000) lp(dash) color(black) xlabel(0(50000)300000) ylabel(0.0(0.00001)0.00002)

设置横纵坐标

xlabel(0(50000)300000)横坐标从1~300000，间隔50000

ylabel(0.0(0.00001)0.00002)纵坐标是从0-0.00002，间隔0.00001

8twoway kdensity 变量名1 [aw=变量名2] if 变量名1<=300000，bw(10000) lp(dash) color(black) xlabel(0(50000)300000) ylabel(0.0(0.00001)0.00002) xtitle() ytitle(）

设置横纵坐标名称

xtitle()

ytitle(）

9twoway kdensity 变量名1 [aw=变量名2] if 变量名1<=300000，bw(10000) lp(dash) color(black) xlabel(0(50000)300000) ylabel(0.0(0.00001)0.00002) xtitle() ytitle() graphregion(fcolor(white) lcolor(white))

底色变白，否则默认底色为蓝，打印出来就是灰色的

graphregion(fcolor(white) lcolor(white))

fcolor 底色/背景色

lcolor 外框线颜色

10twoway kdensity finc_20 [aw=fswt_20] if finc_20 <= 300000, bw(10000) lp(solid) color(black) || kdensity finc_18 [aw=fswt_18] if finc_18<= 300000, bw(10000) 1p(longdash) color(black) || kdensity finc_16 [aw=fswt_16] if finc_16 <= 300000, bw(10000) 1p(longdash_dot) color(black) ||  kdensity finc_14 [aw=fswt_14] if finc_14 <= 300000, bw(10000) 1p(dash) color(black) || kdensity finc_12 [aw=fswt_12] if finc_12 <= 300000, bw(10000) lp(shortdash) color(black) || kdensity finc_10 [aw=fswt_10] if finc_10 <= 300000, bw(10000) lp(dash_dot) color(black) xlabel(0(50000)300000)ylabel(0.0(0.00001)0.00002)xtitle(家庭收入(元))ytitle(核密度)graphregion(fcolor(white)
lcolor(white))

同一个图中画多条核密度曲线

|| 隔开

11twoway kdensity finc_20 [aw=fswt_20] if finc_20 <= 300000, bw(10000) 1p(solid) color(black) || kdensity finc_18 [aw=fswt_18] if finc_18<= 300000, bw(10000) lp(longdash) color(black) || kdensity finc_16 [aw=fswt_16] if finc_16 <= 300000, bw(10000) lp(longdash_dot) color(black) || kdensity finc_14 [aw=fswt_14] if finc_14 <= 300000, bw(10000) lp(dash) color(black) || kdensity finc_12 [aw=fswt_12] if
finc_12 <= 300000, bw(10000) 1p(shortdash) color(black) || kdensity finc_10 [aw=fswt_10] if finc_10 <= 300000, bw(10000) lp(dash_dot) color(black) xlabel(0(50000)300000) ylabel(0.0(0.00001)0.00002) legend(label(1 "202@)label(2 "2018")label(3 "2016")label(4 "2014") label(5"2012")label(6"2010"))xtitle(家庭收入(元))ytitle(核密度)graphregion(fcolor(white)lcolor(white))

设置图例

legend

12

twoway kdensity finc_20 [aw=fswt_20] if finc_20 <= 300000, bw(10000) 1p(solid) color(black) || kdensity finc_18 [aw=fswt_18] if finc_18<= 300000, bw(10000) lp(longdash) color(black) || kdensity finc_16 [aw=fswt_16] if finc_16 <= 300000, bw(10000) lp(longdash_dot) color(black) || kdensity finc_14 [aw=fswt_14] if finc_14 <= 300000, bw(10000) 1p(dash) color(black) | | kdensity finc_12 [aw=fswt_12] if
finc_12 <= 300000, bw(10000) lp(shortdash) color(black) || kdensity finc_10 [aw=fswt_10] if finc_10 <= 300000, bw(10000) lp(dash_dot) color(black)

xlabel(0(50000)300000) ylabel(0.0(0.00001)0.00002) legend(label(1 "2020")label(2 "2018")label(3 "2016")label(4 "2014") label(5"2012")1abel(6"2010")row(2))xtitle(家庭收入(元))ytitle(核密度)graphregion(fcolor(white)lcolor(white))

设置图例的行数

row(2)行数为2

13graph save 保存路径，replace

保存图片

上表中的代码有些空格没有敲到，大家注意改一下

什么是核密度估计？如何感性认识？ - 知乎

nn坚持学stata+matlab
关注
专栏目录
数据分析介绍之三——单变量数据观察之核密度估计
liangzuojiayi的博客
10-02 1万+
数据分析介绍之三——单变量数据观察之核密度估计
核密度估计,核密度估计图怎么解释,matlab
09-10
计算一组数据之间的互信息，利用了核密度估计函数
kde 核密度估计(KDE)
04-11
kde 核密度估计(KDE)
Python | 使用Seaborn绘制KDE核密度估计曲线
最新发布
python收藏家的博客
10-05 1375
KDE图，全称核密度估计图(Kernel Density Estimation)，是一种用于估计数据分布的非参数方法，通常用于可视化和理解数据的分布情况。它通过平滑地估计数据的概率密度函数(PDF)来显示数据的分布特征，尤其在连续变量上非常有用。核密度估计图通常表现为一条平滑的曲线，描述了数据在特定值附近的密度。这条曲线称为核密度估计。核密度估计是通过将每个数据点视为一个小的概率分布（通常是高斯分布或其他核函数）并将它们叠加而得到的。
kde高斯核密度估计——非参数估计
03-05
kde核密度估计，非参数估计的一种，使用高斯核函数进行概率密度估计，应用于独立成分分析确定控制限等过程
非参数估计：核密度估计KDE
皮皮blog
12-14 11万+
http://blog.csdn.net/pipisorry/article/details/53635895核密度估计Kernel Density Estimation(KDE)概述密度估计的问题由给定样本集合求解随机变量的分布密度函数问题是概率统计学的基本问题之一。解决这一问题的方法包括参数估计和非参数估计。参数估计参数估计又可分为参数回归分析和参数判别分析。在参数回归分析中，人们假定数据分布
核密度估计(Kernel density estimation)
热门推荐
Starworks的专栏
12-15 13万+
核密度估计(Kernel density estimation)简析
核密度估计-KDE
Rnan_prince的博客
09-23 4734
核密度估计（Kernel Density Estimation） 密度评估器是一种利用D维数据集生成D维概率分布估计的算法，GMM使用不同的高斯分布的加权汇总来表示概率分布估计。 核密度估计算法将高斯混合理念扩展到了逻辑极限，它通过对每一个点生成高斯分布的混合成分，获得本实质上是无参数的密度评估器。 核密度估计的自由参数是核类型和核带宽，前者指定每个点核密度分布的形状，后者指定每个点核的大小。 一维数据的密度估计——直方图，是一个简单的密度评估器，直方图将数据分成若干区间，统计落入每个区间内的点的数量
核密度估计法（KDE）的概念，应用，优点，缺点，以及与正态分布（高斯分布）的区别，以及与概率分布的区别联系。看完你就真正捋清这些概念了
qlkaicx的博客
11-27 9395
核密度估计法（KDE）的发展起源可以追溯到1950年代和1960年代。在概率论中，人们经常需要估计未知的密度函数，以便更好地理解数据的分布特征。在早期，直方图被广泛用于一维数据的密度估计。直方图将数据分成若干区间，并统计落入每个区间内的点的数量，然后用直观的方式将结果可视化。然而，直方图存在一些局限性，例如无法处理多维数据，以及对于边界效应的处理不够理想。为了克服这些局限性，Rosenblatt (1955)和Emanuel Parzen(1962)提出了一种名为核密度估计的非参数方法。
核密度估计（KDE）原理及实现
Civitasv
12-30 7万+
统计学中，核密度估计，即Kernel Density Estimation，用以基于有限的样本推断总体数据的分布，本文对核密度估计的原理进行探讨，在此基础上进行实现
matlab二维核密度估计kde2d.zip_matlab 概率密度_数学概率模型_核密度_核密度 matlab_核密度估计
07-14
二维核密度估计代码的代码，能够提供二维的概率估计
KDE核密度估计行人检测
11-10
这个资源是matlab实现的基于KDE（核密度估计）的行人检测，包含代码和数据·库。清清楚楚，明明白白，注释易懂。本人课堂大作业的完整版。
核密度估计大作业KDE
05-21
东华大学机器学习核密度估计大作业 第一部分是一个三维的彩色KDE估计图（最好用MATLAB画）；第二部分是测试图片的运动目标二值图像检测结果（运动员用白色像素，背景用黑色）
KDE核密度估计原理分析与讲解 kde_presentation.pdf
06-28
核密度估计（kde）是一种非参估计方法，常用于特征提取。本ppt对核密度估计的原理进行了细致的讲解，很容易明白。
核密度估计大作业KDE代码
03-12
东华大学核密度估计KDE代码 第一部分是一个三维的彩色KDE估计图（最好用MATLAB画）；第二部分是测试图片的运动目标二值图像检测结果（运动员用白色像素，背景用黑色）
KDE核密度估计大作业（DHU机器学习）
10-12
DHU机器学习课程KDE核密度估计图像处理大作业报告（含全部程序截图+实验结果图+结果分析+拓展题）
核密度估计KDE和概率密度函数PDF（深入浅出）
weixin_46713695的博客
07-09 1308
核密度估计KDE和概率密度函数PDF（深入浅出）
kde.rar_KDE核密度估计_kde_kernel density_数据计算密度_核估计
07-15
KDE（Kernel Density Estimation，核密度估计）是一种在统计学中广泛使用的非参数方法，用于估计随机变量的概率密度函数。这种方法不依赖于特定的分布假设，因此特别适合处理复杂分布或者未知分布的数据集。在数据...
机器学习算法（二十一）：核密度估计 Kernel Density Estimation(KDE)
weixin_39910711的博客
07-13 5万+
1 分布密度函数 给定一个样本集，怎么得到该样本集的分布密度函数，解决这一问题有两个方法： 1.1 参数估计方法 简单来讲，即假定样本集符合某一概率分布，然后根据样本集拟合该分布中的参数，例如：似然估计，混合高斯等，由于参数估计方法中需要加入主观的先验知识，往往很难拟合出与真实分布的模型； 1.2 非参数估计 和参数估计不同，非参数估计并不加入任何先验知识，而是根据数据本身的特点、性质来拟合分布，这样能比参数估计方法得出更好的模型。核密度估计就是非参数估计中的一种，由...
高斯核密度估计kde的值
07-17
### 回答1： 高斯核密度估计（Kernel Density Estimation，KDE）是一种用于估计概率密度函数的非参数方法。它通过将每个数据点周围的高斯核函数叠加起来来估计数据集的概率密度。 KDE的值是指在给定某一数据点处的概率密度估计值。计算KDE的值通常需要确定核函数的带宽（bandwidth）参数，它决定了核函数的宽度，即对数据点周围的影响范围。 在给定一组数据点和带宽参数后，KDE的值可以通过以下的计算过程获得： 1. 对于每个数据点，计算与该数据点距离在带宽范围内的所有其他数据点的核函数值。 2. 将所有核函数值求和并除以数据点数量，得到该数据点处的概率密度估计值。 基于高斯核函数的KDE通常具有较好的光滑性和连续性，适用于连续型数据的概率密度估计。通过调整带宽参数，可以控制估计值的平滑程度和准确性。 KDE的值可以用于多个应用场景，如异常检测、模式识别、分类等。在异常检测中，较低的KDE值可能表明该数据点具有较低的概率出现，从而可能被视为异常值。在模式识别中，可以利用KDE的值来区分不同的数据模式。在分类问题中，可以利用KDE的值来评估新数据点属于各个类别的概率，从而进行分类决策。 总之，高斯核密度估计（KDE）提供了一种非参数方法来估计概率密度函数，通过将每个数据点周围的高斯核函数叠加起来来获得数据集的概率密度估计值。KDE的值可以用于多种应用场景，具有广泛的实际意义。 ### 回答2： 高斯核密度估计（KDE）是一种用于估计随机变量分布的非参数方法。它的基本思想是将每个观测样本点视为一个高斯函数的中心，并根据每个样本点周围的邻域来估计密度函数的值。 KDE的计算过程如下： 1. 首先选择一个核函数，通常选择高斯函数作为核函数。 2. 对每个观测样本点，以该点为中心构建一个高斯函数。 3. 对每个高斯函数，计算该函数在各个自变量上的值。 4. 将所有高斯函数的值加权求和，得到估计密度函数的值。 在计算KDE的过程中，需要考虑两个重要的参数：核函数的带宽和观测样本点的数量。核函数的带宽决定了高斯函数对密度函数的贡献程度，较小的带宽会导致估计过于敏感，较大的带宽会导致估计过于平滑。观测样本点的数量影响到对密度函数的完整覆盖程度，较少的样本点可能会导致估计不准确。 KDE在实际应用中具有广泛的应用，例如在统计分析、数据挖掘和机器学习中。它可以用于分析数据的分布特征、寻找异常点、生成合成数据以及进行分类和聚类等任务。 总结来说，KDE是一种通过将每个观测样本点视为高斯函数的中心，根据每个样本点周围的邻域来估计密度函数的非参数方法。它能够通过调整核函数的带宽和观测样本点的数量来灵活地对不同的数据分布进行建模和估计。 ### 回答3： 高斯核密度估计（KDE）是一种非参数的概率密度估计方法。它基于观测数据的分布情况，通过在每个数据点周围创建一个高斯核函数的方式来估计整体的概率密度函数。 KDE的值表示某个特定点的概率密度估计。具体来说，对于给定的输入点，KDE计算该点周围邻近点的贡献，并将它们的高斯核函数叠加在一起得到该点的概率密度估计值。 在计算过程中，KDE使用一个带宽参数来控制高斯核函数的宽度，带宽越小则高斯核函数的影响范围越小，估计的概率密度函数越细致；带宽越大则高斯核函数的影响范围越大，估计的概率密度函数越平滑。 KDE的值可以用来表示某个数据点在数据集中的相对重要性或罕见性。具体来说，KDE值较高的点表示该点周围有较多的数据点，因此被认为是数据集中的常见点；而KDE值较低的点表示该点周围较少的邻近点，因此被认为是数据集中的罕见点。 总结起来，高斯核密度估计（KDE）的值代表了在给定数据点周围创建高斯核函数并叠加后得到的概率密度估计值。它可以用来衡量数据点的重要性或罕见性，并且随着带宽参数的不同而产生不同的估计结果。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值