- 博客(54)
- 收藏
- 关注
RSS订阅
原创 关于我们：分析101
“分析”是一个古老的概念，并且内涵非常广，在各个领域都有相关的应用。我们团队的成员，是来自数学、计算机科学、经济学、商学、医学等不同领域的科学研究工作者，在日常的研究工作中，“分析”是我们共同的工具。尽管分析的具体细节可以因学科而异，但思维逻辑、基本工具却是跨领域共通的。建立本号的初衷，就是为了做一些对万事万物的有趣分析。除此之外，我们也会有许多其他的内容，包括对分析工具的介绍，主要集中于数据分析的工具，如机器学习等；对书籍、前沿文献的解读与评论；对一些问题（主要来自学生提问）的解答；对一些知
2021-07-13 16:23:50
137
原创 依分布收敛的定义细节
1 定义依分布收敛的定义是这样的：随机变量序列{Xn}n=1∞\{X_n\}_{n=1}^{\infty}{Xn}n=1∞，若它们的累积分布函数cdf序列{F1}n=1∞\{F_1\}_{n=1}^{\infty}{F1}n=1∞，与某个随机变量XXX的cdf FFF，满足limn→∞Fn(x)=F(x)\lim_{n\to\infty} F_n(x)=F(x)n→∞limFn(x)=F(x)在任意F(x)F(x)F(x)的连续点xxx处都成立。则称它们依分布收敛到随机变量XXX，记
2021-09-28 12:56:55
2397
原创 新系列预告：资料评论与推荐
新栏目预告：以后会推荐一些书、Notes、公开课、演讲等，当然，还是以专业内容为主。主要聚焦的专业内容主要包括：以数据科学作为中心，它的底层理论（数学、统计学等），它的应用工具（机器学习等），它的具体应用（社会科学、生命科学等）。对于推荐的内容，我们设计了一个6维打分体系如下，基准是低年级非数学系本科生，学好数学三件套（微积分、线性代数、概率论与数理统计）的水平。专业性：指是否面向专业读者。★☆☆☆☆：面向最大众的科普性著作，完全不需要任何基础知识；★★★☆☆：专业领域的基础内容，一般会放在大二
2021-08-18 15:47:24
144
原创 Jensen不等式及其应用
Jensen不等式的形式非常多，这里关注有关于期望的形式。1 Jensen不等式Jensen不等式：已知函数ϕ:R→R\phi: \mathbb{R}\to\mathbb{R}ϕ:R→R为凸函数，则有ϕ[E(X)]≤E[ϕ(X)]\phi[\text{E}(X)]\leq \text{E}[\phi(X)]ϕ[E(X)]≤E[ϕ(X)]。证明过程很直接，因为ϕ:R→R\phi: \mathbb{R}\to\mathbb{R}ϕ:R→R为凸函数，所以存在线性函数l:R→Rl: \mathbb{R}\to
2021-08-12 20:14:27
1110
原创 CSDN1周年
公众号建立已经1周年了。过去1年由我们几位科研从业人员的一次聊天开始，到付诸行动，再到合作形式的几次探索，这一年经历了许多。现在，公众号开始有了一点点的粉丝数（可以说是原始粉丝了），我们也有了稳定的合作模式。这一年，我们共发布了48篇原创内容，平均约7.6天发布一篇原创内容，受到16次点赞，4条评论，40次收藏。另外，也得到了8,772次访问，排在48,463名，也收获了8位粉丝的关注。未来未来，我们将继续现在的路线，以专业性文章为主，适度更新一些其他的内容。另外，我们计划推出一个全新的系列
2021-08-09 12:31:45
335
原创 最小角回归详解
本文介绍LAR（Least angle regression，最小角回归），由Efron等（2004）提出。这是一种非常有效的求解LASSO的算法，可以得到LASSO的解的路径。1 算法介绍我们直接看最基本的LAR算法，假设有NNN个样本，自变量是ppp维的：先对XXX（N×pN\times pN×p）做标准化处理，使得每个predictor（XXX的每列）满足x⋅j′1N=0x_{\cdot j}' 1_N=0x⋅j′1N=0，∥x⋅j∥=1\Vert x_{\cdot j}\Vert=1∥x
2021-06-29 17:33:37
1175
1
原创 QR分解与线性回归
1 一元回归与多元回归任何一本初级水平的计量经济学、统计学或机器学习相关书籍，都会详细推导多元线性线性回归的解，在这里就不再赘述。我们给出本文用到的一些设定。yyy为NNN维因变量向量，假设y=Xβ+ϵy=X\beta+\epsilony=Xβ+ϵ，如果自变量为ppp维，将XXX排为N×(p+1)N\times (p+1)N×(p+1)矩阵，其中第一列x⋅0=1Nx_{\cdot 0}=1_Nx⋅0=1N为全是111的截距项，我们有最小二乘估计：β^=(X′X)−1X′y\hat \beta =
2021-06-24 17:39:11
788
原创 Curse of Dimensionality
1 Curse of dimensionality我们知道，kkk-NN算法是一种非常简单又很有效果的算法，它的核心思想就是局部近似。究其原因，就是因为它可以很好地对条件期望进行近似，一方面它用样本均值代替了期望，另一方面它用给定某个点的邻域代替了该点，结合起来，就是用在邻域内的样本均值，取代了在该点处的条件期望。但是，在高维问题中，kkk-NN会逐渐变得无效。为什么？还要从高维问题的一些特点说起。首先，高维空中的样本，分布非常稀疏。假设有一个单位体积的超立方体（hypercube），即每个维度的“边
2021-06-22 16:06:49
170
原创 LASSO的解法
LASSO非常实用，但由于它的惩罚项不可以常规地进行求导，使得很多人以为它无法显式地求解出解析解。但其实并不是这样的。1 单变量情形：软阈值法将NNN个样本的真实值记为NNN维向量yyy，将NNN个样本的自变量记为zzz，假设我们已经将自变量做过标准化，即z′ℓn=0z' \ell_n=0z′ℓn=0，z′z/N=1z'z/N=1z′z/N=1，这也意味着在LASSO模型中截距项为000。系数β\betaβ是要优化的参数，惩罚项参数为λ>0\lambda\gt 0λ>0。LASSO就是要
2021-06-17 15:55:19
1807
原创 经验分布函数简介
1 概念如果我们想知道某个随机变量XXX的分布FFF，这在一般情况下当然是无法准确知道的，但如果我们手上有它的一些独立同分布的样本，可不可以利用这些样本？一个很简单的办法就是，把这些样本的“频率”近似为随机变量的“概率”。经验分布函数（empirical distribution function）：给每个点1/n1/n1/n的概率质量，得到CDF：F^n(x)=∑i=1nI(Xi≤x)n\hat{F}_n(x) = \dfrac{\sum_{i=1}^{n}I(X_i\leq x)}{n}F^n
2021-06-15 14:17:48
7418
原创 Hoeffding不等式简介
1 Hoeffding不等式Hoeffding不等式是非常有用的一个不等式，在机器学习、统计学等领域，都发挥着巨大的作用。它的思想与Markov不等式有些类似，我们先给出它的形式：Hoeffding不等式：Y1,…,YnY_1,\ldots,Y_nY1,…,Yn为独立观测，E(Yi)=0E(Y_i)=0E(Yi)=0，ai≤Yi≤bia_i\leq Y_i\leq b_iai≤Yi≤bi。对于ϵ>0\epsilon\gt 0ϵ>0，∀t>0\forall t \gt 0∀
2021-06-14 19:33:30
1002
原创 正态分布密度函数的系数
正态分布的密度函数，可以一般化地写为f(x)=kexp[−12(x−b)′A(x−b)]f(x) = k \exp\left[-\dfrac{1}{2}(x-b)' A (x-b)\right]f(x)=kexp[−21(x−b)′A(x−b)]事实上，如果某个多维随机变量的密度函数可以写成该形式，那么它就服从正态分布。其中bbb是均值，正定矩阵AAA是协方差矩阵的逆，它们共同决定了正态分布的形式。而另外一个字母kkk，仅仅是归一化系数，它是使得整个密度函数的积分等于111的那个值。如果有人背
2021-06-10 23:21:06
1566
原创 条件期望误差的有限性
1 CEF error的有限性问题在回归中，记条件期望函数（conditional expectation function，CEF）为E[Y∣X=x]E[Y|X=x]E[Y∣X=x]，则可将因变量YYY分解为Y=E[Y∣X=x]+eY=E[Y|X=x]+eY=E[Y∣X=x]+e可记e=Y−E[Y∣X=x]e=Y-E[Y|X=x]e=Y−E[Y∣X=x]为条件期望函数误差（CEF error）。显然，eee满足E[e∣X]=0E[e|X]=0E[e∣X]=0，E[e]=0E[e]=0E[e]=
2021-06-05 13:23:47
516
原创 数学基础系列：极限与连续
1 实数线的拓扑我们先从探讨“距离”的概念出发。我们知道对于x,y∈Rx,y\in Rx,y∈R，可以定义一个非负的Euclidean distance∣x−y∣|x-y|∣x−y∣。通过这个，我们又可以定义某个点x∈Rx\in Rx∈R的ε\varepsilonε-neighbourhood，它就是集合S(x,ε)={y:∣x−y∣<ε}S(x,\varepsilon)=\{y:|x-y|\lt \varepsilon\}S(x,ε)={y:∣x−y∣<ε}，其中ε>0\varepsi
2021-06-02 13:33:22
1130
原创 数学基础系列：集合与数
本文旨在整理一些集合论中的基础概念与定理，主要出处见参考文献。本文只列出特别简单的证明，略去复杂的证明。1 集合论基础首先，我们介绍Cartesian product（笛卡尔积、直积）A×BA\times BA×B，就是从AAA中、BBB中各取一个元素组成的有序数对。如果是nnn个集合，它们的Cartesian product就是一个nnn-tuples：×i=1nAi={(a1,…,an):ai∈Ai,i=1,…,n}\times_{i=1}^n A_i = \{(a_1,\ldots,a_n)
2021-05-25 00:30:56
537
原创 因子模型简介
总体kkk-因子模型模型设定：x∼(μ,Σ)x\sim(\mu,\Sigma)x∼(μ,Σ)，rank(Σ)=r\text{rank}(\Sigma)=rrank(Σ)=r，固定k<rk\lt rk<r，则kkk因子模型的设定为x=Af+μ+ϵx=Af+\mu+\epsilonx=Af+μ+ϵ其中fff为ddd维随机向量，称为共同因子（common factor），AAA为d×kd\times kd×k的线性变换，称为因子载荷（factor loading）。一般会做出这些假设：f∼
2021-05-18 21:13:36
2447
原创 数据标准化
1 为何需要标准化有的数据，不同维度的数量级差别较大，导致有的维度会主导整个分析过程。如下图所示：该图的数据维度d=30d=30d=30，样本量n=40n=40n=40，上面的图是对原始数据做PCA后，第一个PC在各个维度上的权重的平行坐标图，下面的图则是对数据做标准化之后的情况。可以发现，在原始数据中，第444和242424个维度的权重非常大。如果其他的维度也包含了重要的信息，而我们只取第一个PC做研究，可能就会造成信息损失。2 如何标准化那该如何预处理数据？一般而言有两种处理方法。2.1 S
2021-05-17 19:32:55
599
原创 主成分分析简介
本文对主成分分析做简要介绍。1 总体的主成分考虑x∼(μ,Σ)x\sim (\mu,\Sigma)x∼(μ,Σ)，其中Σ\SigmaΣ可分解为Σ=ΓΛΓ′\Sigma=\Gamma\Lambda\Gamma'Σ=ΓΛΓ′，Γ=(η1,…,ηn)\Gamma=(\eta_1,\ldots,\eta_n)Γ=(η1,…,ηn)，各列为单位特征向量，Λ\LambdaΛ为特征值降序排列的对角矩阵，协方差矩阵的秩rank(Σ)=r\text{rank}(\Sigma)=rrank(Σ)=r，对于k=1,…,r
2021-05-16 18:05:33
447
原创 平行坐标图简介
高维数据的可视化是一个很大的问题，Inselberg（1985）提出了一种好办法，称为平行坐标图（parallel coordinate plots）。它有竖直的（vertical）和水平的（horizontal）两种画法。Vertical parallel coordinate plots：对于一个ddd维的样本，它的值是一个随机向量X=(X1,X2,…,Xd)′X=(X_1,X_2,\ldots,X_d)'X=(X1,X2,…,Xd)′，不断在坐标系中描出点(X1,1)(X_1,1)(X1,1
2021-05-14 12:05:35
1103
原创 连续时间下的一般资产定价模型
上一篇讲了资产定价的核心等式，以及随机贴现因子SDF的一些知识，但是是在离散时间下做的推导，而有时为了研究的方便，需要在连续时间下进行建模，本文对此进行介绍。在连续时间下，假设投资者的效用函数为U({ct})=E[∫t=0∞e−δtu(ct)dt]U(\{c_t\})=\text{E}\left[\int_{t=0}^{\infty}e^{-\delta t}u(c_t) dt\right]U({ct})=E[∫t=0∞e−δtu(ct)dt]假设投资者可以以价格ptp_tpt购买某资产，
2021-05-11 20:22:25
405
原创 工具变量原理
在做回归时，很多时候会有E(xtεt)≠0\text{E}(x_t \varepsilon_t)\neq 0E(xtεt)=0的情况，这也意味着不满足外生性条件E(ε∣X)=0\text{E}(\varepsilon|X)=0E(ε∣X)=0，此时的OLS估计量β^\hat\betaβ^就不再满足无偏性，并且随着nnn的变大，它的bias也无法变小。若对此无法理解，请先掌握《小样本OLS回归梳理》中的内容。此时该怎么办？一种解决方法是利用一些与ε\varepsilonε无关的变量，这就是工具变量
2021-04-25 13:52:04
1094
原创 资产定价核心等式及其应用
11.1 基本的定价等式假设有一笔在t+1t+1t+1时刻的payoff为xt+1x_{t+1}xt+1的资产，该如何计算它在ttt时刻的价值？假如在今天买一只股票，那么下一期的payoff就是股票的价格加股息，即xt+1=pt+1+dt+1x_{t+1}=p_{t+1}+d_{t+1}xt+1=pt+1+dt+1，xt+1x_{t+1}xt+1是一个随机变量，投资者无法确切地知道他的投资在下一期会有多少收益，但他可以估算各种可能情况的概率。假设有一个代表性投资者，他的效用函数是U(ct,
2021-04-22 10:55:33
1391
原创 方差分解公式
在有些时候，直接计算随机变量的方差非常麻烦，此时可以用方差分解公式，将方差分解为条件期望的方差加条件方差的期望：Var(X)=Var[E(X∣Y)]+E[Var(X∣Y)]\text{Var}(X)=\text{Var}[\text{E}(X|Y)]+\text{E}[\text{Var}(X|Y)]Var(X)=Var[E(X∣Y)]+E[Var(X∣Y)]证明非常简单，注意到Var[E(X∣Y)]=E{[E(X∣Y)]2}−{E[E(X∣Y)]}2=E{[E(X∣Y)]2}−[E(X)]2\
2021-04-21 17:10:20
5288
1
原创 行列式的求导
在应用中，经常会碰到需要对某个矩阵的行列式进行求导的情况。而行列式的计算方法比较复杂，如果将它展开成后计算，会比较麻烦，因此最好直接记住一些结论。本文以计算∂∣A∣∂A\dfrac{\partial |A|}{\partial A}∂A∂∣A∣和∂ln∣A∣∂A\dfrac{\partial \ln |A|}{\partial A}∂A∂ln∣A∣为例，介绍如何对行列式求导，并希望大家可以记住结论。首先，为防止大家线性代数的内容忘得差不多了，我们先以方阵AAA（n×nn\times nn×n）为例
2021-04-19 17:09:42
7940
4
原创 几乎必然收敛的含义
1 几乎必然收敛的概念几乎必然收敛（almost sure convergence），又叫以概率1收敛（convergence with probability 1），定义为：随机变量序列{Xn}\{X_n\}{Xn}满足P(limn→∞Xn→X)=1\mathbf{P}(\lim_{n\to \infty} X_n\to X)=1P(n→∞limXn→X)=1则Xn→a. s. XX_n\xrightarrow{\text{a. s. }}XXna. s.
2021-04-15 22:43:18
4566
原创 正态分布的条件分布与边缘分布
本文总结多元正态分布的条件分布与边缘分布，证明不难，但都比较繁琐，故不做详细证明，有兴趣可以参考Pattern Recognition and Machine Learningy一书。1 正态分布的条件分布对于联合正态分布变量x∼N(μ,Σ)x\sim N(\mu,\Sigma)x∼N(μ,Σ)，定义精度矩阵（the precision matrix）为协方差矩阵的逆，即Λ≡Σ−1\Lambda\equiv \Sigma^{-1}Λ≡Σ−1，做分块处理：x=[xaxb],μ=[μaμb],Σ=[Σaa
2021-04-14 13:38:06
5059
原创 多元正态分布初识
在本科阶段的教材中，往往会有多元正态分布的公式出现，但课堂上都不会重点讲解，而在研究生入学考试中也基本不会考。但在实际应用中，多元的情况却非常常见。本文通过对多元正态分布的公式进行拆解，来看看它到底是怎么回事。多元正态分布公式对于DDD维正态分布变量xxx，直接上它的密度公式：N(x∣μ,Σ)=1(2π)D/21∣Σ∣1/2exp{−12(x−μ)′Σ−1(x−μ)}\mathcal{N}(x|\mu,\Sigma)=\dfrac{1}{(2\pi)^{D/2}}\dfrac{1}{\vert\
2021-04-13 13:22:11
596
原创 利用矩母函数求独立随机变量之和的分布
在求独立的随机变量之和的分布时，可用矩母函数法。1 矩母函数法定理 已知X1,…,XnX_1,\ldots,X_nX1,…,Xn为独立的随机变量，各种的矩母函数为M1,…,MnM_1,\ldots,M_nM1,…,Mn，a1,…,ana_1,\ldots,a_na1,…,an为常数，则Y=∑i=1naiXiY=\sum_{i=1}^{n}a_i X_iY=∑i=1naiXi的矩母函数为MY(t)=E[exp(t∑i=1naiXi)]=∏i=1nMi(ait)M_Y(t)=\tex
2021-04-12 20:58:07
2891
原创 比较横截面与时间序列的因子模型
发表于2020年Review of Financial Studies上的"Comparing cross-section and time-series factor models"一文，作者是2013年诺贝尔经济学奖得主、芝加哥大学Booth商学院的Eugene F. Fama，和他的老搭档、达特茅斯学院Amos Tuck商学院的Kenneth R. French，这也是二位的最新一次合作。该文十分简单，且为纯实证，本文对其关键部分作个剖析。在下文中，用CS（Cross-Section）表示“横截面
2021-04-11 09:17:50
2536
原创 Cauchy-Schwarz不等式、Hölder不等式与Minkowski不等式
本文介绍几个常用的与期望有关的不等式。1 Cauchy–Schwarz不等式Cauchy–Schwarz不等式的形式为：[E(XY)]2≤E(X2)E(Y2)[\text{E}(XY)]^2 \leq \text{E}(X^2)\text{E}(Y^2)[E(XY)]2≤E(X2)E(Y2)证明非常简单，只需先将YYY分解为相互正交的两部分（类似于OLS回归）：Y=E(XY)E(X2)X+(Y−E(XY)E(X2)X)Y=\dfrac{\text{E}(XY)}{\text{E}(X^2)}
2021-04-08 15:26:44
1308
原创 概率空间与随机变量的概念
中学阶段的概率的概念，无法满足后续学习的要求，因此必须从测度论角度重新定义概率。本文整理了一些相关概念。1 概率的公理化定义定义 概率空间（probability space）：三元参数组(Ω,F,P)(\Omega, \mathcal{F}, \mathbf{P})(Ω,F,P)定义了一个概率空间。其中Ω\OmegaΩ是样本空间，即一个随机试验的所有可能结果，F\mathcal{F}F是样本空间Ω\OmegaΩ的子集的集合，称为σ\sigmaσ-域（σ\sigmaσ-field），P\mathbf{
2021-04-07 15:05:47
874
原创 平稳时间序列的大样本OLS回归
有了《独立同分布的大样本OLS回归》的铺垫，现在进一步将OLS推广到平稳时间序列的情况。思路还是一样：进行点估计，再研究估计量的性质；构造统计量，在大样本下推导其渐近分布，并进行假设检验。这里的各种计算与上一篇非常像，需要注意的是大数定律和中心极限定理在这里的使用条件（遍历平稳、鞅差分过程等）与上一篇不同，因此也需要不同的假设。1 记号与假设记Q=E(xtxt′)Q=\text{E}(x_t x_t')Q=E(xtxt′)，V=Var(xtεt)V=\text{Var}(x_t\vare
2021-03-29 12:28:53
1286
原创 Python模拟随机漫步
本文用Python模拟随机漫步行为。1 使用内建的的random模块import randomposition = 0walk = [position]steps = 1000for i in range(steps): step = 1 if random.randint(0, 1) else -1 position += step walk.append(position)random模块每次只能生成一个样本值，效率很低。如果要生成大量样本值，可用numpy.r
2021-03-27 12:20:47
418
1
原创 NumPy数组切片的复制问题
在使用NumPy数组时，有一个要注意的地方：在取数组的切片时，取出来的切片（Slices）仅仅是原始数组的视图（Views），而非它的复制！这与Python的built-in的list不同。arr = np.arange(10)arr输出：array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])接着，可以用广播的方式给其中的切片赋值：arr[5:8] = 12arr输出：array([ 0, 1, 2, 3, 4, 12, 12, 12, 8, 9])如果我
2021-03-26 16:13:19
568
1
原创 独立同分布的大样本OLS回归
本文将把OLS回归，从小样本推广到大样本的情形。关于小样本OLS回归，可见《小样本OLS回归的框架》和《小样本OLS回归梳理》。尽管在大样本下，假设、推导、结论都与在小样本情形下不同，但总体的思路还是一样的：进行点估计，再研究估计量的性质；构造统计量，在大样本下推导其渐近分布，并进行假设检验。本文考虑大样本情形中最简单的情况：独立同分布的随机样本。1 记号与假设由于可能会考虑到时间序列的情形，因此这里对于单个样本的下标采用ttt，不再用iii。记Q=E(xtxt′)Q=\text{E}(x_
2021-03-23 13:24:24
906
原创 小样本OLS回归梳理
上一篇《小样本OLS回归的框架》讲解了小样本OLS回归的主要框架，本文沿着该框架，对小样本OLS回归做一个全面的梳理。1 假设这里先将所有的小样本OLS回归中可能用到的假设放到一起，方便浏览。当然，后面的每一个结论并不是要用到所有的假设，而是只用到某几个假设，这在后面讲每个结论时会具体说明。假设1 线性性：yi=xi′β+εiy_i=x_i'\beta+\varepsilon_iyi=xi′β+εi，其中β\betaβ是未知参数向量，将所有NNN个样本放到一起，可以写成y=Xβ+εy=X\be
2021-03-17 21:29:21
5145
原创 小样本OLS回归的框架
1 最小二乘法的历史不管是学习机器学习、计量经济学、数理统计，很多人接触到的第一个算法就是最小二乘法（least squares method）。这是一个非常古老的方法。早在18世纪早期，在天文学和航海领域就已经出现了最小二乘法的思想。真正意义上第一个正式发表该方法是在1806年的法国科学家Legendre，而数学王子Gauss据说在更早时候就发现了该方法，但直到1809年他在发表计算天体运动轨道时才正式使用，两人也为谁是第一个发现的争论不休。Gauss毕竟是数学王子，1829年，他又首次证明出，在线
2021-03-06 22:02:55
1744
原创 盈余意外的稳健度量
发表于2019年Journal of Finance上的"Robust Measures of Earnings Surprises"一文，提出了一种对于盈利意外的测度，它在一些条件下会比现有的一致误差CE（Census Error）测度表现更好，作者将其命名为FOM（Fraction Of Misses on the same side）。该文从2015年开始就在学术会议上作报告，过去的题目曾为"When Everyone Misses on the Same Side: Debiased Earnin
2021-03-01 22:23:25
220
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人