【数理统计】分位数

上分位数和下分位数的定义

设连续型随机变量 X X X 的分布函数为 F ( x ) F(x) F(x),概率密度函数为 f ( x ) f(x) f(x),则:

  • 对于任意正数 α ( 0 < α < 1 ) \alpha(0<\alpha<1) α(0<α<1),称满足条件

F ( x α ‾ ) = ∫ − ∞ x α ‾ f ( x ) d x = α F(x_{\underline{\alpha}}) = \int_{-\infty}^{x_{\underline{\alpha}}} f(x)dx = \alpha F(xα)=xαf(x)dx=α

的数为此分布的 α \alpha α 分位数或下 α \alpha α 分位数。

理解下 α \alpha α 分位数:从 x α x_{\alpha} xα 这个点把分布函数图像切成两个部分,左边部分面积占比 α \alpha α,右边部分面积占比 1 − α 1-\alpha 1α。(下图右图)

  • 对于任意正数 α ( 0 < α < 1 ) \alpha(0<\alpha<1) α(0<α<1),称满足条件

1 − F ( x α ) = ∫ x α + ∞ f ( x ) d x = α 1-F(x_{\alpha}) = \int_{x_{\alpha}}^{+\infty} f(x)dx = \alpha 1F(xα)=xα+f(x)dx=α

的数为此分布的上 α \alpha α 分位数。

理解上 α \alpha α 分位数:从 x α x_{\alpha} xα 这个点把分布函数图像切成两个部分,左边部分面积占比 1 − α 1-\alpha 1α,右边部分面积占比 α \alpha α。(下图左图)

上分位数和下分位数的关系如下:

  • x α ‾ = x 1 − α x_{\underline{\alpha}} = x_{1-\alpha} xα=x1α
  • x α = x 1 − α ‾ x_{\alpha} = x_{\underline{1-\alpha}} xα=x1α

下分位数的直观理解

分位数是数理统计中用来描述数据分布的一种统计量,它将数据集分成若干个部分,使得每个部分包含相同数量的数据点。常见的分位数包括中位数(50%分位数)、四分位数(25%和75%分位数)等。

  • 中位数(Median):将数据分成两部分,中位数是数据中间的值,50%分位数。
  • 四分位数(Quartiles)
    • 第一四分位数(Q1):将数据下25%的点分开。
    • 第二四分位数(Q2):即中位数(50%分位数)。
    • 第三四分位数(Q3):将数据上25%的点分开。

假设有以下一组数据:

数据集:3, 7, 8, 12, 14, 18, 20
  1. 计算中位数

    • 排序后的数据为:3, 7, 8, 12, 14, 18, 20
    • 中位数(Q2)是中间的值,即 12
  2. 计算四分位数

    • 第一四分位数(Q1):前半部分数据是 3, 7, 8,中位数是 7
    • 第三四分位数(Q3):后半部分数据是 14, 18, 20,中位数是 18

上分位数的直观理解

上分位数(Upper Quantile):一个分位数 q q q 的上分位数是指使得有 1 − q 1 - q 1q 的数据点小于该分位数的值。

常见的上分位数:

  • 上四分位数(Q1):表示25%数据点大于该值,75%数据点小于该值。
  • 上中位数:在中位数(Q2)中,50%的数据点大于该值。
  • 上95%分位数(即95th Percentile):表示有5%的数据点大于该值,95%的数据点小于该值。

假设我们有一组数据,表示某个考试的分数:

数据集:55, 60, 65, 70, 75, 80, 85, 90, 95, 100

计算上分位数

  • 上四分位数(Q1)

    • Q1 = 65(25%的数据点大于65)。
  • 上中位数(Q2)

    • Q2 = 75(50%的数据点大于75)。
  • 上95%分位数

    • 95th Percentile = 95(5%的数据点大于95)。

常用分布中的分位数

不同分布的符号简写:

  • b:二项分布
  • p:泊松分布
  • u:标准正态分布
  • e:指数分布
  • z:正态分布(不一定是标准的)

正态分布

标准正态分布表

X ∼ N ( 0 , 1 ) X \sim N(0,1) XN(0,1) 即服从标准正态分布,则分布函数记为 Φ ( x ) \Phi(x) Φ(x)。由标准正态分布的对称性可知: Φ ( − x ) = 1 − Φ ( x ) \Phi(-x) = 1-\Phi(x) Φ(x)=1Φ(x)。显然, P { x 1 < X < x 2 } = Φ ( x 2 ) − Φ ( x 1 ) P \{ x_1 < X < x_2 \} = \Phi(x_2) - \Phi(x_1) P{x1<X<x2}=Φ(x2)Φ(x1)

  • 对于上分位数 u α u_{\alpha} uα,有 Φ ( u α ) = 1 − α \Phi(u_{\alpha}) = 1 - \alpha Φ(uα)=1α
  • 对于下分位数 u α u_{\alpha} uα,有 Φ ( u α ) = α \Phi(u_{\alpha}) = \alpha Φ(uα)=α
  • 上下分位数之间的关系有 u α = − u 1 − α u_{\alpha} = -u_{1-\alpha} uα=u1α(仅标准正态分布成立)

对于自由度为 n n n 的 t 分布也有类似的结论: t α ( n ) = − t 1 − α ( n ) t_{\alpha}(n) = -t_{1-\alpha}(n) tα(n)=t1α(n)。当 n ( n > 45 ) n (n>45) n(n>45) 足够大时,有: t α ( n ) ≈ u α t_{\alpha}(n) \approx u_{\alpha} tα(n)uα

标准正态分布中常见的分位数:

  • 0.25分位数(第一四分位数 Q1):约为 -0.6745,即 u 0.25 = − u 0.75 ≈ − 0.6745 u_{0.25} = -u_{0.75} \approx -0.6745 u0.25=u0.750.6745
  • 0.50分位数(中位数 Q2):为 0,即 u 0.50 = 0 u_{0.50} = 0 u0.50=0
  • 0.75分位数(第三四分位数 Q3):约为 0.6745,即 u 0.75 ≈ 0.6745 u_{0.75} \approx 0.6745 u0.750.6745

假设我们有一组服从正态分布 N ( 100 , 1 5 2 ) N(100, 15^2) N(100,152) 的随机变量,即均值为100,标准差为15。我们可以计算这些变量的分位数。

  • 25%分位数(Q1):

    • 使用标准正态分布的Q1值:约为 -0.6745。
    • 实际分位数计算:Q1 = 100 + (-0.6745 × 15) ≈ 90.87
  • 50%分位数(Q2):

    • 使用标准正态分布的Q2值:为 0。
    • 实际分位数计算:Q2 = 100 + (0 × 15) = 100
  • 75%分位数(Q3):

    • 使用标准正态分布的Q3值:约为 0.6745。
    • 实际分位数计算:Q3 = 100 + (0.6745 × 15) ≈ 109.12

卡方分布

χ 2 ∼ χ 2 ( n ) \chi^2 \sim \chi^2(n) χ2χ2(n),则上分位数 χ α 2 \chi^2_{\alpha} χα2 是满足以下条件的值:

P { χ 2 > χ α 2 ( n ) } = α P \{ \chi^2 > \chi^2_{\alpha}(n) \} = \alpha P{χ2>χα2(n)}=α

这意味着有 1 − α 1-\alpha 1α 的概率观测值会大于该上分位数值。

上分位数的应用:

  1. 假设检验:在卡方检验中,通常使用上分位数来决定拒绝域。例如,在检验两个分类变量的独立性时,可以使用卡方统计量与上分位数进行比较。
  2. 置信区间:在构建卡方分布的置信区间时,也会使用上分位数。

假设我们有一个卡方分布 χ 2 ∼ χ 2 ( 5 ) \chi^2 \sim \chi^2(5) χ2χ2(5),即自由度 n = 5 n = 5 n=5,我们想找出上5%分位数( α = 0.05 \alpha=0.05 α=0.05,即95%分位数):

  • 查卡方分布表,找到自由度为5时,与0.95对应的上分位数 χ 0.05 2 \chi^2_{0.05} χ0.052
  • 结果为大约 11.070。

这意味着在自由度为5的卡方分布中,有5%的概率观察到的值会大于11.070。类似的还有 F 分布中的上分位数,此处不再赘述。

### Qwen AgentRAG 和 LangChain 使用指南 #### Jupyter Notebook 部署与安全远程访问 为了有效利用Qwen代理进行开发工作,建议先在Linux服务器上部署Jupyter Notebook并配置安全远程访问环境[^1]。这不仅提供了交互式的编程体验,还便于管理和共享代码。 #### RAG 技术概述 复杂问答聊天机器人的核心在于检索增强生成(Retrieval-Augmented Generation, RAG)[^2]。这项技术允许应用基于特定文档集合来提供更精确的回答,减少了传统方法可能出现的信息偏差或错误。 #### LangChain 框架集成 LangChain框架简化了多个API接口之间的连接过程,特别是对于希望快速构建功能丰富的AI系统的开发者而言非常有用[^3]。通过简单的几步操作——获取必要的API密钥、完成软件包安装以及将所需工具挂载至代理服务端口,即可轻松启动项目。 #### 自我纠正机制 Self-RAG 引入自我反思能力(self-reflection),即所谓的Self-RAG体系结构,在提高模型准确性方面表现出色[^4]。它使得大型语言模型能够在检测到潜在误报时自动调整输出内容,进而提升整体性能表现。 ```python from langchain import LangChainAgent import qwen_agent # 初始化LangChain代理实例 agent = LangChainAgent(api_key="your_api_key") # 加载预训练好的Qwen模型作为内部组件 qa_model = qwen_agent.load_pretrained() # 将QA模块注册给代理对象 agent.register_tool(qa_model) def ask_question(query): response = agent.run(query) return response ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值