2020年12月_一个不愿透露姓名的孩子

原创 UA MATH563 概率论的数学基础中心极限定理25 随机变量特征函数的连续性定理

UA MATH563 概率论的数学基础中心极限定理25 随机变量特征函数的连续性定理Continuity Theorem假设{μn},μ\{\mu_n\},\mu{μn},μ是概率测度，{ϕn},ϕ\{\phi_n\},\phi{ϕn},ϕ是他们的特征函数：μn⇒μ\mu_n \Rightarrow \muμn⇒μ，则ϕn→ϕ\phi_n \to \phiϕn→ϕϕn→ψ\phi_n \to \psiϕn→ψ并且ψ\psiψ在零处连续，则ψ\psiψ是特征函数，如果还知道μn⇒ν\mu

2020-12-31 11:21:20 894

原创 UA MATH563 概率论的数学基础中心极限定理22 度量概率空间中的弱收敛 Portmanteau定理

UA MATH563 概率论的数学基础中心极限定理22 Portmanteau定理现在我们讨论度量空间中的弱收敛，假设(Ω,d)(\Omega,d)(Ω,d)是一个度量空间，(Ω,F,P)(\Omega,\mathcal{F},P)(Ω,F,P)是一个概率空间，Xn,XX_n,XXn,X是定义在Ω\OmegaΩ上的随机变量，它们的分布为μn,μ\mu_n,\muμn,μ。Portmanteau定理关于依分布收敛，下面的叙述等价：Xn→dXX_n \to_d XXn→dX对任意开集GGG

2020-12-31 11:18:30 1280

原创 UA MATH563 概率论的数学基础中心极限定理24 随机变量的特征函数

UA MATH563 概率论的数学基础中心极限定理24 随机变量的特征函数定义假设XXX是定义在(Ω,F,P)(\Omega,\mathcal{F},P)(Ω,F,P)上的随机变量，定义ϕ(t)=E[eitX]\phi(t) = E[e^{itX}]ϕ(t)=E[eitX]为XXX的特征函数(characteristic function)。说明记μX\mu_XμX为XXX的分布，则ϕ(t)=E[eitX]=∫eitXdμX\phi(t) = E[e^{itX}] = \int e^{itX

2020-12-31 10:24:42 315

原创 UA MATH563 概率论的数学基础中心极限定理23 概率测度族的紧性

UA MATH563 概率论的数学基础中心极限定理23 概率测度族的紧性给定一个度量可测空间(Ω,F)(\Omega,\mathcal{F})(Ω,F)，度量为ddd，我们可以在这个可测空间上定义概率测度，用C\mathcal{C}C表示这个可测空间上所有可能的概率测度，接下来我们试图研究C\mathcal{C}C的紧性。之所以要讨论概率测度族的紧性是因为我们前几讲讨论的是概率测度的收敛，我们希望概率测度的极限也是概率测度，特别是在中心极限定理中，我们希望极限分布也能是一个分布，因此我们需要紧的概率测度

2020-12-31 06:00:31 600

原创 UA MATH563 概率论的数学基础中心极限定理21 Skorohod定理的证明

UA MATH563 概率论的数学基础中心极限定理21 Skorohod定理的证明Skorohod定理如果Fn⇒FF_n \Rightarrow FFn⇒F，则存在以FnF_nFn为cdf的YnY_nYn与以FFF为cdf的YYY，使得Yn→a.s.YY_n \to_{a.s.} YYn→a.s.Y。证明简单起见，因为(0,1)(0,1)(0,1)与R\mathcal{R}R是同胚，我们考虑Ω=(0,1)\Omega = (0,1)Ω=(0,1)，F=B((0,1))\mathcal{F

2020-12-31 04:36:00 1033 1

原创 UA MATH563 概率论的数学基础中心极限定理20 弱收敛的性质

UA MATH563 概率论的数学基础中心极限定理20 弱收敛的性质性质一：两种定义的等价性随机变量依分布收敛定义一：假设{Xn}\{X_n\}{Xn}是一列随机变量，称它依分布收敛到XXX，如果XnX_nXn的cdf弱收敛到XXX的cdf，记为Xn→dXX_n \to_d XXn→dX定义二：假设{Xn}\{X_n\}{Xn}是一列随机变量，称它依分布收敛到XXX，如果对任意有界连续函数ggg，E[g(Xn)]→E[g(X)]E[g(X_n)] \to E[g(X)]E[g(Xn

2020-12-31 04:12:51 651

原创 UA MATH567 高维统计III 随机矩阵5 在集网上定义矩阵范数

UA MATH567 高维统计III 随机矩阵3 集网上定义矩阵范数在讨论随机向量的时候，我们用了化归的思想，通过随机向量的范数与投影，将随机向量化归为随机变量来研究。现在我们要研究随机矩阵了，同样也要应用化归的思想，用随机变量与随机向量的性质讨论随机矩阵的性质。我们先回顾一下矩阵范数，考虑矩阵AAA，它的范数可以用向量范数导出∥A∥=max⁡x∥Ax∥2∥x∥2=max⁡x∥Ax∥x∥2∥2=max⁡x∈Sn−1∥Ax∥2\left\| A \right\| = \max_{x}\frac{\lef

2020-12-30 10:54:33 290

原创 UA MATH567 高维统计III 随机矩阵4 欧氏空间上的集网与覆盖

UA MATH567 高维统计III 随机矩阵2 覆盖与体积这一讲我们进一步介绍ϵ\epsilonϵ-网，上一讲的定义net、covering与packing是比较抽象的，这一讲我们在欧氏空间中讨论这几个概念，希望读者能够对net、covering与packing有一个比较直观的认识，这一讲的距离ddd都表示欧氏距离。Covering与Packing与体积假设KKK是欧氏空间的子集，∣K∣∣ϵB2n∣≤N(K,d,ϵ)≤P(K,d,ϵ)≤∣K+ϵ2B2n∣∣ϵ2B2n∣\frac{|K|}{|\ep

2020-12-30 10:28:48 237

原创 UA MATH567 高维统计III 随机矩阵3 集网与覆盖

UA MATH567 高维统计III 随机矩阵1 集网与覆盖在介绍随机矩阵的concentration与尾部概率行为之前，我们先介绍一个在监督学习理论、高维统计与随机矩阵等领域都非常有用的工具：ϵ\epsilonϵ-net。这个工具来源于集值分析(set-valued analysis)，集值分析要分析的函数值为集合的映射（集值映射），ϵ\epsilonϵ-net (ϵ\epsilonϵ-网) 就是邻域在集值映射上的推广。ϵ\epsilonϵ-net的定义假设(T,d)(T,d)(T,d)是一个度量空

2020-12-30 09:43:24 531

原创 UA MATH563 概率论的数学基础中心极限定理19 概率测度的全变差收敛 Skorohod定理

UA MATH563 概率论的数学基础中心极限定理19 概率测度的全变差收敛 Skorohod定理上一讲我们讨论了概率测度的弱收敛，这一讲我们讨论概率测度的其他收敛模式：概率测度的弱收敛假设{μn}\{\mu_n\}{μn}是一列概率测度，称它弱收敛到概率测度μ\muμ，如果μn\mu_nμn导出的累积分布函数弱收敛到μ\muμ导出的累积分布函数，我们记为μn⇒μ\mu_n \Rightarrow \muμn⇒μ概率测度的Total variation convergence （全变差收敛）

2020-12-30 09:05:26 1719 1

原创 UA MATH563 概率论的数学基础中心极限定理18 概率测度的弱收敛

UA MATH563 概率论的数学基础中心极限定理18 概率测度的弱收敛在前十七讲的讨论中，我们已经讨论了中心极限定理所需要的大部分基础知识了，现在还差最后一项，也就是中心极限定理的收敛形式——弱收敛 (weak convergence)/依分布收敛 (convergence in distribution)。分布函数的弱收敛假设{Fn}\{F_n\}{Fn}是一列分布函数，称它弱收敛到分布函数FFF如果Fn(y)→F(y),∀yF_n(y) \to F(y),\forall yFn(y)→F(

2020-12-30 07:58:22 1583

原创 UA MATH567 高维统计III 随机矩阵1 特征值、奇异值与Courant-Fischer minimax定理

UA MATH567 高维统计III 随机矩阵1 特征值、奇异值与min-max定理要分析随机矩阵，一种非常容易想到的思路是化归，也就是想办法把随机矩阵变成我们分析过的随机变量和随机向量，这就不由得让我们想到矩阵的谱分解与奇异值分解的操作了，考虑适用范围更广泛的奇异值分解，它正好可以把矩阵变成奇异值、奇异向量的组合：奇异值分解(SVD)i) 假设AAA是m×nm \times nm×n的矩阵，r=rank(A)≤min⁡(m,n)r=rank(A) \le \min(m,n)r=rank(A)≤min

2020-12-29 06:27:26 1233

原创 UA MATH567 高维统计III 随机矩阵2 算子范数与Frobenius范数基于SVD的low-rank approximation

UA MATH567 高维统计III 随机矩阵2 算子范数与Frobenius范数基于SVD的low-rank approximation矩阵的范数假设AAA是从nnn维欧氏空间到mmm维欧氏空间的线性算子，称∥A∥\left\| A\right\|∥A∥是它的算子范数：∥A∥=max⁡x∈Sn−1∥Ax∥2\left\| A\right\| = \max_{x \in S^{n-1}}\left\| Ax \right\|_2∥A∥=x∈Sn−1max∥Ax∥2其中Sn−1S^{n-1}S

2020-12-29 06:12:05 1213

原创 UA MATH563 概率论的数学基础中心极限定理17 0-1律的应用

UA MATH563 概率论的数学基础中心极限定理17 0-1律的应用第14讲到第16讲我们介绍了Kolmogorov非常著名的几大定理（如下），事实上Kolmogorov开发出这些定理的目标是证明强大数定律（第十二讲）：强大数定律(SLLN by Kolmogorov) 假设X1,⋯ ,Xn,n≥1X_1,\cdots,X_n,n\ge 1X1,⋯,Xn,n≥1是iid的随机变量，E∣X1∣<∞E|X_1|<\inftyE∣X1∣<∞，则Xˉ→asEX1\bar X \to

2020-12-29 05:05:06 448 2

原创 UA MATH563 概率论的数学基础中心极限定理16 Kolmogorov 3-series定理

UA MATH563 概率论的数学基础中心极限定理16 Kolmogorov 3-series定理考虑∑n≥1an\sum_{n \ge 1}a_n∑n≥1an，这个级数收敛的充要条件是它的部分和收敛，对于实数序列，这个条件又等价于它的部分和序列是Cauchy序列：∀ϵ>0\forall \epsilon>0∀ϵ>0,∃L\exists L∃L, ∀N,M>L,N<M\forall N,M>L,N<M∀N,M>L,N<M，∣∑n=N+1Man∣

2020-12-29 04:38:12 491

原创 UA MATH563 概率论的数学基础中心极限定理15 Kolmogorov 0-1律

UA MATH563 概率论的数学基础中心极限定理15 Kolmogorov 0-1律如果是初见的话会觉得Kolmogorov 0-1律看上去很奇怪，但它在概率论中有很广泛的应用，这一讲我们简单介绍一下Kolmogorov 0-1律。假设{Xj}j≥1\{X_j\}_{j \ge 1}{Xj}j≥1是(Ω,F,P)(\Omega,\mathcal{F},P)(Ω,F,P)上的一列随机变量，定义Fn=σ{Xn+1,Xn+2,⋯ }\mathcal{F}_n = \sigma\{X_{n+1},X_

2020-12-29 03:29:58 1542

原创 UA MATH563 概率论的数学基础中心极限定理14 Kolmogorov maximal inequality

UA MATH563 概率论的数学基础中心极限定理14 Kolmogorov maximal inequality这一讲介绍一个有用的不等式，它给出了独立随机变量的和的最值的tail probability的阶。Kolmogorov maximal inequality假设X1,⋯ ,XnX_1,\cdots,X_nX1,⋯,Xn是独立的随机变量，并且EXi=0,VarXi<∞EX_i=0,Var X_i<\inftyEXi=0,VarXi<∞，则P(max⁡1≤k≤n∣

2020-12-28 05:07:59 751

原创 UA MATH563 概率论的数学基础中心极限定理13 Glivenko-Cantelli定理：经验分布函数收敛到真实分布

UA MATH563 概率论的数学基础中心极限定理13 Glivenko-Cantelli定理：经验分布函数收敛到真实分布这一讲我们介绍大数定律的一个应用，说明经验分布函数会收敛到真实的分布。先回顾一下我们介绍过的大数定律相关结论：弱大数定律(weak law of large number, WLLN)假设{Xn}n≥1\{X_n\}_{n \ge 1}{Xn}n≥1是不相关的随机变量，EXn=μ,Var(Xn)≤c,∀n≥1,∃c>0EX_n = \mu,Var(X_n) \le c,

2020-12-28 04:32:39 2655

原创 UA MATH567 高维统计II 随机向量11 kernel的构造用内积替换反三角函数

UA MATH567 高维统计II 随机向量11 kernel的构造用内积替换反三角函数我们来做上一讲剩下的kernel的构造，完成Grothendieck不等式的证明中的kernel trick。引理存在一个Hilbert空间HHH，以及变换Φ,Ψ:Sn−1→S(H)\Phi,\Psi:S^{n-1} \to S(H)Φ,Ψ:Sn−1→S(H)，使得2πarcsin⁡⟨Φ(u),Ψ(v)⟩=β⟨u,v⟩,β=2πln⁡(1+2)\frac{2}{\pi} \arcsin \langle \Phi

2020-12-28 03:40:32 320

原创 UA MATH567 高维统计II 随机向量10 Grothendieck不等式的证明版本二：kernel trick

UA MATH567 高维统计II 随机向量4 核方法在介绍亚高斯随机向量的更多应用之前，我们先简单介绍一下核方法(kernel trick)。在统计学习与高维统计方法中，核方法在处理非线性性上发挥了非常重要的作用，事实上kernel trick在理论证明中也有非常重要的应用，所以作为后续介绍应用的基础，我们先简单介绍一下kernel与kernel trick的背景，在讲到具体问题时，我们再介绍kernel trick怎么用来证明定理。假设KKK是一个二元映射，K:Ω×Ω→RK:\Omega \time

2020-12-27 11:13:46 324 1

原创 UA MATH567 高维统计II 随机向量9 图的Max-cut问题 0.878近似算法

UA MATH567 高维统计II 随机向量9 图的Max-cut问题 0.878近似算法上一讲我们用整数规划对MAX-CUT问题建了模，CUT(G,x)=12∑xixj=−1Aij=14∑i,jAij(1−xixj)=14∑i,jAij−14∑i,jAijxixjCUT(G,x)=\frac{1}{2}\sum_{x_ix_j=-1}A_{ij} = \frac{1}{4}\sum_{i,j}A_{ij}(1-x_ix_j) \\ = \frac{1}{4}\sum_{i,j}A_{ij}-\frac{

2020-12-27 05:02:45 364

原创 UA MATH567 高维统计II 随机向量8 图的max-cut问题 0.5近似算法

UA MATH567 高维统计II 随机向量8 图的Max-cut问题 0.5近似算法前两讲讨论了随机向量的概率不等式的一个应用：半正定规划近似求解整数规划，这一讲我们讨论它的另一个应用——图的max-cut问题。问题描述考虑图G=(V,E)G=(V,E)G=(V,E)，max-cut的问题是如何画一条曲线，使得与曲线相交的边数最多，记此时的边数为MAX−CUT(G)MAX-CUT(G)MAX−CUT(G)，现在我们的目标是设计一个算法，输入图GGG，输出MAX−CUT(G)MAX-CUT(G)MAX

2020-12-27 04:40:59 688

原创 UA MATH563 概率论的数学基础中心极限定理12 强大数定律版本2：Etemadi定理

UA MATH563 概率论的数学基础中心极限定理12 强大数定律版本2：Etemadi定理这一讲我们介绍强大数定律(Strong law of large number, SLLN)的另一个版本：强大数定律假设X1,⋯ ,Xn,n≥1X_1,\cdots,X_n,n\ge 1X1,⋯,Xn,n≥1是两两独立、同分布的随机变量，E∣X1∣<∞E|X_1|<\inftyE∣X1∣<∞，则Xˉ→asEX1\bar X \to_{as} EX_1Xˉ→asEX1说明几乎

2020-12-27 03:35:21 681

原创 UA MATH563 概率论的数学基础中心极限定理11 强大数定律版本1：四阶矩有界

UA MATH563 概率论的数学基础中心极限定理9 强大数定律这一讲我们介绍强大数法则(Strong Law of Large Number, SLLN)，强大数定律假设X1,⋯ ,Xn,n≥1X_1,\cdots,X_n,n\ge 1X1,⋯,Xn,n≥1是两两独立、同分布的随机变量，E∣X1∣<∞E|X_1|<\inftyE∣X1∣<∞，则Xˉ→asEX1\bar X \to_{as} EX_1Xˉ→asEX1说明几乎必然收敛强于均方收敛，所以称这个结果为强大

2020-12-27 02:50:16 976 1

原创 UA MATH567 高维统计II 随机向量7 Grothendieck不等式

UA MATH567 高维统计II 随机向量7 Grothendieck不等式上一讲我们介绍了用半正定规划近似一个整数规划的方法，要证明这种近似与原整数规划解的大小关系，我们需要Grothendieck不等式，所以这一讲我们证明这个不等式：Grothendieck不等式AAA是m×nm \times nm×n的实矩阵，xi,yj∈{−1,1}x_i,y_j \in \{-1,1\}xi,yj∈{−1,1}，假设∣∑i,jAijxiyj∣≤1|\sum_{i,j}A_{ij}x_iy_j| \le

2020-12-26 05:30:37 354

原创 UA MATH567 高维统计II 随机向量6 亚高斯随机向量的应用: 半正定规划

UA MATH567 高维统计II 随机向量6 亚高斯随机向量的应用: 半正定规划半正定规划(semidefinite programming, SDP)是凸优化的一个分支：max⁡X⟨A,X⟩s.t. X≥0,⟨Bi,X⟩=bi,i=1,⋯ ,m\max_X \langle A, X \rangle \\ s.t. \ X \ge 0,\langle B_i,X \rangle =b_i, i =1,\cdots,mXmax⟨A,X⟩s.t. X≥0,⟨Bi,X⟩=bi,

2020-12-26 05:00:16 542

原创 UA MATH563 概率论的数学基础中心极限定理10 Borel-Cantelli引理

UA MATH563 概率论的数学基础中心极限定理10 Borel-Cantelli引理这一讲我们介绍一个非常重要的结果，Borel-Cantelli引理，先引入一些基本概念。假设(Ω,F,P)(\Omega,\mathcal{F},P)(Ω,F,P)是一个概率空间：lim sup⁡An=∩m≥1∪n≥mAn={w:w属于无数个事件An}\limsup A_n = \cap_{m \ge 1} \cup_{n \ge m}A_n = \{w:w属于无数个事件A_n\}limsupAn=∩m≥1∪

2020-12-26 03:52:33 1786 1

原创 [概统]本科二年级概率论与数理统计第七讲期望、方差与相关性

[概统]本科二年级概率论与数理统计第七讲期望、方差与相关性

2020-12-26 02:46:17 865

原创 [概统]本科二年级概率论与数理统计第八讲大数定律与中心极限定理

[概统]本科二年级概率论与数理统计第八讲大数定律与中心极限定理

2020-12-26 00:40:47 419

原创 UA MATH567 高维统计II 随机向量5 亚高斯随机向量

UA MATH567 高维统计II 随机向量3 亚高斯随机向量这一讲我们将亚高斯分布推广到高维。亚高斯随机向量 XXX是一个nnn维随机向量，称XXX是亚高斯随机向量如果∀x∈Sn−1\forall x \in S^{n-1}∀x∈Sn−1，⟨X,x⟩\langle X,x \rangle⟨X,x⟩是亚高斯随机变量。其中Sn−1S^{n-1}Sn−1是nnn维欧式空间中的单位球面，Sn−1={x∈Rn:∥x∥2=1}S^{n-1}=\{x\in \mathbb{R}^n:\left\|x \right

2020-12-25 05:02:18 794

原创 UA MATH567 高维统计II 随机向量4 Frame、凸性与各向同性

UA MATH567 高维统计II 随机向量4 Frame、凸性与各向同性上一讲末尾我们介绍了frame作为标准正交基的推广的概念，我们称{ui}i=1N,ui∈Rn\{u_i\}_{i=1}^N,u_i \in \mathbb{R}^n{ui}i=1N,ui∈Rn是frames，如果A∥x∥22≤∑i=1N⟨ui,x⟩2≤B∥x∥22,∀x∈RnA \left\| x\right\|_2^2 \le \sum_{i=1}^N \langle u_i,x\rangle^2 \le B \left\

2020-12-25 03:57:18 577

原创 UA MATH563 概率论的数学基础中心极限定理8 弱大数定律 Bernstein多项式逼近

UA MATH563 概率论的数学基础中心极限定理7 弱大数定律

2020-12-25 03:23:48 906

原创 [概统]本科二年级概率论与数理统计第六讲随机变量的函数的分布

[概统]本科二年级概率论与数理统计第六讲随机变量的函数的分布这一讲我们介绍随机变量的函数的分布，按照适用的方法，分类如下：{一元随机变量的函数{单调可微的函数其他函数二元随机变量的变换{满秩变换{微分同胚其他满秩变换降秩变换\begin{cases} 一元随机变量的函数 \begin{cases} 单调可微的函数 \\ 其他函数 \end{cases} \\ 二元随机变量的变换 \begin{cases} 满秩变换 \begin{cases}微分同胚 \\ 其他满秩变换 \end{case

2020-12-24 11:03:43 462

原创 [概统]本科二年级概率论与数理统计第五讲二元随机变量

[概统]本科二年级概率论与数理统计第五讲二元随机变量二元离散型随机变量二元连续型随机变量二元离散型随机变量我们先回顾一下离散型概率空间，假设Ω\OmegaΩ是非空的有有限个元素的集合，P(Ω)\mathcal{P}(\Omega)P(Ω)是它的幂集，简记为P\mathcal{P}P，也就是Ω\OmegaΩ的所有子集构成的集合，称(Ω,P)(\Omega,\mathcal{P})(Ω,P)是一个事件空间，Ω\OmegaΩ中的元素是基本事件，P\mathcal{P}P中的元素是事件。假设P:P→[0,

2020-12-24 09:28:51 452

原创 UA MATH563 概率论的数学基础中心极限定理7 Kolmogorov extension theorem及其扩展

UA MATH563 概率论的数学基础中心极限定理7 Kolmogorov extension theorem及其扩展上一讲为了构造包含无限个独立随机变量的序列，我们使用了Kolmogorov extension theorem：如果在(Rn,B(Rn))(\mathbb{R}^n,\mathcal{B}(\mathbb{R}^n))(Rn,B(Rn))上有概率测度νn\nu_nνn，且νn\nu_nνn是一致的(consistent)，即νn+1((a1,b1]×⋯×(an,bn]×R)=νn(

2020-12-24 05:10:53 2113

原创 UA MATH567 高维统计II 随机向量3 常见的高维随机向量的分布

UA MATH567 高维统计II 随机向量3 常见的高维随机向量的分布Spherical DistributionSymmetric Bernoulli Distribution正态分布FramesSpherical DistributionX∼Unif(nSn−1)X \sim Unif(\sqrt{n}S^{n-1})X∼Unif(nSn−1)，其中Sn−1S^{n-1}Sn−1表示nnn维空间中的单位球面，这个符号说明XXX在半径在n\sqrt{n}n的球面上服从均匀分布。对于这个在球面上的

2020-12-24 04:07:48 535

原创 UA MATH567 高维统计II 随机向量2 各向同性的随机向量

UA MATH567 高维统计II 随机向量2 各向同性

2020-12-24 02:58:14 1047 1

原创 LDA Effect Size分析 LEfSe详解

LDA Effect Size分析 LEfSe详解LEfSe的作用LEfSe的原理LEfSe的作用在介绍LEfSe的作用前，我们先解释一个概念——biomarker，维基百科给出的定义是A bio-marker, or biological marker is a measurable indicator of some biological state or condition. Biomarkers are often measured and evaluated to examine norma

2020-12-23 07:00:08 7416 3

原创 UA MATH563 概率论的数学基础中心极限定理6 独立随机变量的和与Kolmogorov扩展定理

UA MATH563 概率论的数学基础中心极限定理6 独立随机变量的和的分布

2020-12-23 03:33:52 693

原创 UA MATH567 高维统计II 随机向量1 随机向量的范数

UA MATH567 高维统计II 随机向量1 随机向量的范数

2020-12-23 03:02:46 1251

R语言做GAM的一个简单例子

silicon.csv

insurance.csv

Salary1.csv

空空如也