数学狂想曲（九）——Bézier curve, 熵

随机过程（续）

中心极限定理

中心极限定理：研究何种条件下独立随机变量之和的极限分布为正态分布的一系列命题的统称。它是数理统计学和误差分析的理论基础，指出了大量随机变量积累分布函数逐点收敛到正态分布的积累分布函数的条件。自然界与生产中，一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布的。

独立同分布的中心极限定理

设相互独立的随机变量$X_1,X_2,\dots ,X_n$具有相同的概率分布，且有有限的数学期望和方差：$E(X_k)=\mu ,D(X_k)={\mu }^2̸=0(k=1,2,\dots ,n)$，则随机变量：

$$Y_n=\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }$$

的分布函数$F_n(x)$对于任意实数x，都有：

$$li{m}_{n\to \infty }{F}_n(x)={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt$$

由以上定理可知：

当n很大时，$Y_n$近似地服从标准正态分布N(0,1)。
令$\overline{X}=\frac{1}{n}{\sum }_{k=1}^n{X}_k$，则当n很大时，$\overline{X}$近似服从正态分布$N(\mu ,\frac{{\sigma }^2}{n})$。

由此可见：在独立同分布的情况下，无论$X_1,X_2,\dots ,X_n$的分布函数为何，它们的平均数$\overline{X}$当n充分大的时候总是近似地服从正态分布。

独立不同分布的中心极限定理

若随机变量$X_1,X_2,\dots ,X_n$相互独立，有有限的数学期望和方差，且满足林德贝格(Lindeberg)条件（每个随机变量都均匀小），则当n充分大时，这些变量之和的概率分布近似于正态分布。

我们可以这样理解大数定律和中心极限定理：

1、大数定律和中心极限定理可以看做随机变量的零阶和一阶“泰勒展开”，其中大数定律是随机变量的“零阶估计”，中心极限定理是在大数定律成立下的“一阶导数”，在极限下高阶小量可忽略。

2、大数定律负责给出估计——期望，中心极限定理负责给出大数定律的估计的误差——标准差乘以标准正态分布。

3、其实我们还可以进行更高阶的展开，貌似三阶展开对应的统计量叫做skewness，wiki上常用分布的词条都会给出这一数值。不过，在实际应用中，中心极限定理已经足够，所以通常也就不需要了。

参考：

https://mp.weixin.qq.com/s/LlAul8AoAUGUCgFP-qPvrA

中心极限定理通俗介绍

https://mp.weixin.qq.com/s/lc1oTETReXevVjK3NarbGg

大数定律和中心极限定理的区别和联系

https://blog.csdn.net/dawnranger/article/details/52950873

大数定律与中心极限定理

https://www.zhihu.com/question/22913867

怎样理解和区分中心极限定理与大数定律？

Bézier curve

Bézier curve在数学界发现的时间很早——它是1912年由Sergei Natanovich Bernstein提出的。然而，真正将之发扬广大的，却是法国工程师Pierre Étienne Bézier。

Sergei Natanovich Bernstein，1880～1968，苏联数学家。University of Paris博士（1904），先后执教于University of Paris、University of Goettingen、University of Kharkiv、Leningrad University、Steklov Institute of Mathematics等名校和研究所。解决了Hilbert的第19个问题。

Pierre Étienne Bézier，1910～1999，École nationale supérieure d’arts etmétiers本科（1930）。终身供职于法国雷诺汽车公司。开发了最早的CAD/CAM系统（1960），被称为CAD/CAM之父。退休后，获得Pierre-and-Marie-Curie University博士学位（1977）。注意，这可不是荣誉学位，人家可是有重量级的博士论文的。

Bézier curve的数学公式比较复杂，但是实际的绘制方法却很简单。

如上图所示。假设我们要绘制曲线$C_{P_0{P}_2}$上0.25位置上的点，那么可以在线段$L_{P_0{P}_1}$上找到0.25位置点$Q_0$,在线段$L_{P_1{P}_2}$上找到0.25位置点$Q_1$，最后在线段$L_{Q_0{Q}_1}$上找到0.25位置点B，即为所求。

这个过程连续起来，就如下图所示：

可见Bézier curve具有良好的数值稳定性，可产生类似皮筋的图像效应，是拟合光滑曲线的利器，因此被广泛应用于CAD/CAM领域。

熵

在《数学狂想曲（四）》的“玻尔兹曼分布”一节，我们提到了Shannon entropy的公式。然而，这个公式是如何推导出来的呢？

经典热力学定义

1803年，Lazare Carnot发现热机不能将所有的热量转换为机械能。1824年，其子Sadi Carnot在此基础上提出了理想热机的Carnot cycle。

Lazare Nicolas Marguerite, Count Carnot，1753～1823，法国政治家、数学家和物理学家。虽然他在热机方面作出了重大贡献，但他的名声主要还是在政治领域。他当过国民会议主席（法国大革命期间的国家元首），曾力排众议启用拿破仑作为远征意大利的主帅，算是拿破仑政治上的恩师。他是法国大革命和拿破仑时期的一位重要政治人物。

Nicolas Léonard Sadi Carnot，1796～1832，法国工程师和物理学家，被誉为“热力学之父”。Lazare Carnot之子。

上图是一个理想热机的示意图，其中,$T_H$是高温热源温度，$T_C$是低温热源温度，$Q_H$是热机吸收的热量，而$Q_C$是热机释放的热量。W是热机产生的机械能。

上图是Carnot cycle的PV图，其中，1->2（吸热）和3->4（放热）是等温过程，而2->3和4->1是绝热过程。

由热力学第一定律可得：

$$W=Q_H-Q_C\text{\hspace{1em}(1)}$$

理想气体方程：

$$pV=nRT\text{\hspace{1em}(2)}$$

等温过程：

$$p_1{V}_1=p_2{V}_2\text{\hspace{1em}(3)}$$

等温过程的作功公式为：

$$W={\int }_{V_1}^{V_2}pdV={\int }_{V_1}^{V_2}\frac{p_1{V}_1}{V}dV=p_1{V}_1\ln \frac{V_2}{V_1}=p_1{V}_1\ln \frac{p_1}{p_2}=nRT\ln \frac{p_1}{p_2}\text{\hspace{1em}(4)}$$

因为等温过程，内能不变，因此：

$$W=Q$$

即：

$$Q_1=nR{T}_1\ln \frac{V_2}{V_1}\text{\hspace{1em}(5)}$$

$$Q_2=nR{T}_2\ln \frac{V_3}{V_4}\text{\hspace{1em}(6)}$$

绝热过程：

$${\left(\frac{V_2}{V_1}\right)}^{\gamma -1}={\left(\frac{V_3}{V_4}\right)}^{\gamma -1}\text{\hspace{1em}(7)}$$

由公式6、7可得：

$$Q_2=nR{T}_2\ln \frac{V_2}{V_1}\text{\hspace{1em}(8)}$$

由公式5、8可得：

$$\frac{Q_1}{T_1}=\frac{Q_2}{T_2}\text{\hspace{1em}(9)}$$

理想热机的效率：

$$\eta =\frac{W}{Q_1}=\frac{Q_1-Q_2}{Q_1}=1-\frac{Q_2}{Q_1}=1-\frac{T_2}{T_1}\text{\hspace{1em}(10)}$$

公式10就是所谓Carnot’s theorem。Carnot发现所有热机的效率都不可能高于$\eta$。

由Carnot’s theorem可以容易的得到如下结论：

1.冷热温度是热机效率的关键因素。但是低温热源降温是件很麻烦的事，需要设计基于Carnot逆循环的热机。这实际上就是现代空调的原理。

2.提高高温热源温度。比如内燃机就比蒸汽机热效高。

3.Carnot逆循环还表明，没有外界做功，低温热源不可能降温。这实际上揭示了热的不可逆特性，也就是热力学第二定律。

必须指出的是，Carnot时代，科学界主流的理论还是热质说。虽然当今课本介绍Carnot’s theorem时，一般基于热力学第二定律进行讲解，但后者的发现实际上是30年之后的事了。

到了1850年代，Rudolf Clausius深入研究Carnot cycle之后，发现如果用负号表示放热的话，公式9可改写为：

$$\frac{Q_1}{T_1}+\frac{Q_2}{T_2}=0\text{\hspace{1em}(11)}$$

这表明Carnot cycle中的路径积分：

$$\oint \frac{Q}{T}=0$$

然而Carnot cycle是理想状况，真实热机不可能达到。因此：

$$W<\left(1-\frac{T_C}{T_H}\right)Q_H\text{\hspace{1em}(12)}$$

$$Q_H-Q_C<\left(1-\frac{T_C}{T_H}\right)Q_H$$

即：

$$Q_C>\frac{T_C}{T_H}{Q}_H$$

也就是：

$$\oint \frac{Q}{T}\le 0\text{\hspace{1em}(13)}$$

Clausius意识到

$$dS=\frac{Q}{T}\text{\hspace{1em}(14)}$$

是一个很重要的物理量，于是将之命名为Entropy。En表示energy，tropy是希腊文中transformation的意思。当这个颇有来历的名称被1923年到南京讲学的普朗克介绍给中国物理学家时，胡刚复教授在翻译时灵机一动，创造了一个新词汇“熵”。

Rudolf Julius Emanuel Clausius，1822～1888，德国物理学家和数学家。University of Halle博士（1847）+ETH Zürich教授。经典热力学的集大成者。普法战争期间，上战场获得了一枚铁十字勋章。

胡刚复，1892～1966，物理学家。哈佛大学博士（1918），历任南京大学、上海交通大学、浙江大学、南开大学教授。他和兄弟姐妹胡敦复、胡明复、胡范若、胡芷华等创办了上海大同大学，是上海乃至全国私立大学中的翘楚，素有“北有南开、南有大同”之说。

从公式13可以看出，如果没有外界能量注入，热机是无法完成循环的，但由热力学第一定律可知，系统的能量总量是不变的，因此这意味着系统的一部分能量成为了无法利用的能量，而这部分能量正好可以用Entropy进行度量。

参考：

http://galileo.phys.virginia.edu/classes/152.mf1i.spring02/CarnotEngine.htm

Heat Engines: the Carnot Cycle

统计热力学定义

Entropy的统计热力学定义，相对就比较复杂了。这里仅列出推导的要点，不细讲了。

首先是两个假设：

1.统计物理量的加和性。（刘维尔定理）

2.概率分布的乘积性。（不相关变量的概率分布公式）

设系统有两部分，其熵为$S_1,S_2$，其概率分布为${\Omega }_1,{\Omega }_2$，则根据上述假设可得：

$$S=S_1+S_2$$

$$\Omega ={\Omega }_1\times {\Omega }_2$$

令$S=f(\Omega )$，则：

$$S_1=f({\Omega }_1),S_2=f({\Omega }_2),S=f({\Omega }_1)+f({\Omega }_1)=f({\Omega }_1\times {\Omega }_2)$$

$$\{\begin{array}{l}\frac{\mathrm{d}f(\Omega )}{\mathrm{d}{\Omega }_1}=\frac{\mathrm{d}f({\Omega }_1\times {\Omega }_2)}{\mathrm{d}({\Omega }_1\times {\Omega }_2)}\mathrm{d}{\Omega }_2\\ \frac{\mathrm{d}f(\Omega )}{\mathrm{d}{\Omega }_2}=\frac{\mathrm{d}f({\Omega }_1\times {\Omega }_2)}{\mathrm{d}({\Omega }_1\times {\Omega }_2)}\mathrm{d}{\Omega }_1\end{array}\Rightarrow \{\begin{array}{l}{\Omega }_1\frac{\mathrm{d}f(\Omega )}{\mathrm{d}{\Omega }_1}=\frac{\mathrm{d}f(\Omega )}{\mathrm{d}\Omega }\Omega \\ {\Omega }_2\frac{\mathrm{d}f(\Omega )}{\mathrm{d}{\Omega }_2}=\frac{\mathrm{d}f(\Omega )}{\mathrm{d}\Omega }\Omega \end{array}$$

$${\Omega }_1\frac{\mathrm{d}f(\Omega )}{\mathrm{d}{\Omega }_1}={\Omega }_2\frac{\mathrm{d}f(\Omega )}{\mathrm{d}{\Omega }_2}=\frac{\mathrm{d}f(\Omega )}{\mathrm{d}\Omega }\Omega =K$$

$$\mathrm{d}f(\Omega )=K\frac{\mathrm{d}\Omega }{\Omega }\Rightarrow f(\Omega )=K\ln \Omega +C$$

根据热力学第三定律，使用绝对零度作为原点，则：

$$S=K\ln \Omega$$

上式就是Boltzmann’s entropy formula。这里隐含的另一个假设是：分子随机运动没有偏好性，即各状态的概率相等。

如果状态概率不等的话，则：

$$S=K\cdot E[\ln \Omega ]=K\sum {\Omega }_i\ln {\Omega }_i$$

上式被称作Gibbs entropy。

参考：

https://wenku.baidu.com/view/a90518a37c1cfad6185fa746.html

热力学中的熵