数学理论
文章平均质量分 67
数学理论
杨林伟
像火箭科学家一样思考!
展开
-
2021年新高考等级计算规则
文章目录1. 概述2. 计算步骤3. 举例1. 概述2021年新高考省份(第三批新高考改革的试点省份):辽宁、广东、河北、湖北、湖南、江苏、福建、重庆等级分换算对应表(使用科目:政治、地理、化学、生物)等级ABCDE比例15%35%35%13%2%赋分区间100-8685-7170-5655-4140-30注意:等级分的满分值为100分,起点分值为30分。也就是说,假如考生考了0分,排到E等级,赋分后,最少也有30分。2. 计算步骤原创 2020-12-18 09:44:59 · 2618 阅读 · 0 评论 -
25 机器学习相关参考文献及推荐阅读
参考文献:高等数学第六版上下册,同济大学数学系编;微积分概念发展史,[美] 卡尔·B·波耶 著,唐生 译;概率论与数理统计,高教版,盛骤等编;浙大版概率论与数理统计电子PPT课件;数理统计学简史,陈希孺院士著;(极力推荐上书,相信每一个学概率统计的朋友都有必要看一看,同时,此书也是正态分布的前后今生这一系列的主要参考)推荐阅读rickjin,正态分布的前...原创 2019-09-18 17:37:33 · 6585 阅读 · 0 评论 -
24 正态分布和最大熵
还有一条小径是基于最大熵原理的,物理学家E.T.Jaynes在最大熵原理上有非常重要的贡献,他在《概率论沉思录》里面对这个方法有描述和证明,没有提到发现者,不过难以确认这条道的发现者是否是Jaynes本人。熵在物理学中由来已久,信息论的创始人香农(Claude Elwood Shannon)把这个概念引入了信息论,读者中很多人可能都知道目前机器学习中有一个非常好用的分类算法叫最大熵分类器。要想把...原创 2019-09-18 17:35:03 · 6220 阅读 · 2 评论 -
23 Landon的推导(1941)
原创 2019-09-18 17:30:46 · 308 阅读 · 0 评论 -
22 Herschel(1850)和麦克斯韦(1860)的推导
第二条小径是天文学家John Hershcel和物理学家麦克斯韦(Maxwell)发现的。1850年,天文学家Herschel在对星星的位置进行测量的时候,需要考虑二维的误差分布,为了推导这个误差的概率密度分布f(x,y),Herschel设置了两个准则:.x轴和y轴的误差是相互独立的,即误差的概率在正交的方向上相互独立;误差的概率分布在空间上具有旋转对称性,即误差的概率分布和角度没有关系。...原创 2019-09-18 17:29:17 · 644 阅读 · 0 评论 -
21 高斯的推导(1809)
第一条小径是高斯找到的,高斯以如下准则作为小径的出发点误差分布导出的极大似然估计 = 算术平均值设真值为θ,而为n次独立测量值,每次测量的误差为,假设误差的密度函数为,则测量值的联合概率为n个误差的联合概率,记为为求极大似然估计,令整理后可以得到令由上式可以得到由于高斯假设极大似然估计的解就是算术平均,把解带入上式,可以得到在上式中取m=2,有...原创 2019-09-18 17:26:05 · 536 阅读 · 0 评论 -
20 误差分布曲线的建立 - 正态分布的时间简史
至此,正态分布从首次出现到最终确立,其时间简史为:1705年,伯努力的著作推测术问世,提出伯努利大数定律;1730-1733年,棣莫弗从二项分布逼近得到正态密度函数,首次提出中心极限定理;1780年,拉普拉斯建立中心极限定理的一般形成;1805年,勒让德发明最小二乘法;1809年,高斯引入正态误差理论,不但补充了最小二乘法,而且首次导出正态分布;1811年,拉普拉斯利用中心极限定理论...原创 2019-09-16 11:21:12 · 1150 阅读 · 0 评论 -
19 误差分布曲线的建立 - 高斯导出误差正态分布
事实上,棣莫弗早在1730年~1733年间便已从二项分布逼近的途径得到了正态密度函数的形式,到了1780年后,拉普拉斯也推出了中心极限定理的一般形式,但无论是棣莫弗,还是拉普拉斯,此时他们这些研究成果都还只是一个数学表达式而非概率分布,也就是压根就还没往误差概率分布的角度上去思索,而只有到了1809年,高斯提出“正太误差”的理论之后,它正太理论才得以“概率分布“的身份进入科学殿堂,从而引起人们的重...原创 2019-09-16 11:20:07 · 2088 阅读 · 0 评论 -
18 误差分布曲线的建立 - 拉普拉斯的研究
在1772-1774年间,拉普拉斯也加入到了寻找误差分布函数的队伍中。与辛普森不同,拉普拉斯不是先假定一种误差分后去设法证明平均值的优良性,而是直接射向应该去怎么的分布为误差分布,以及在确定了误差分布之后,如何根据观测值去估计真值。拉普拉斯假定误差密度函数f(x)满足如下性质:m>0,且为常数,上述方程解出C>0且为常数,由于得故当x<0,结合概率密度的性质之一,解得c=...原创 2019-09-16 10:29:28 · 1250 阅读 · 0 评论 -
17 误差分布曲线的建立 - 辛普森的研究
十八世纪,天文学的发展积累了大量的天文学数据需要分析计算,应该如何来处理数据中的观测误差成为一个很棘手的问题。我们在数据处理中经常使用平均的常识性法则,千百年来的数据使用经验说明算术平均能够消除误差,提高精度。平均有如此的魅力,道理何在,之前没有人做过理论上的证明。算术平均的合理性问题在天文学的数据分析工作中被提出来讨论:测量中的随机误差应该服从怎样的概率分布?算术平均的优良性和误差的分布有怎样的...原创 2019-09-16 10:14:18 · 1087 阅读 · 0 评论 -
16 最小二乘法 - 数据分析的瑞士军刀
事实上,在成百上千的各式各样的攻击方法中,取算术平均恐怕是最广为人知使用也最为广泛的方法,因为可能一个小学生都知道使用算术平均来计算自己每天平均花了多少零花钱而以此作为向爸妈讨要零花钱的依据。而我们大多数成年人也经常把“平均说来”挂在嘴边。故此节要讲的最小二乘法其实并不高深,它的本质思想即是来源于此算术平均的方法。不太精确的说,一部数理统计学的历史,就是从纵横两个方向对算术平均进行不断深入研究的...原创 2019-09-16 09:35:01 · 511 阅读 · 0 评论 -
15 贝叶斯方法
前面,介绍了惠更斯、伯努利和棣莫弗等人的重大成果,无疑在这些重要发明中,二项分布都占据着举重轻重的地位。这在早期的概率统计史当中,也是唯一一个研究程度很深的分布。但除了伯努利的大数定律及棣莫弗的二项逼近的研究成果外,在18世纪中叶,为了解决二项分布概率的估计问题,出现了一个影响极为广泛的贝叶斯方法,贝叶斯方法经过长足的发展,如今已经成为数理统计学中的两个主要学派之一:贝叶斯学派,牢牢占据数理统计学...原创 2019-09-16 09:30:29 · 451 阅读 · 0 评论 -
14 棣莫弗的二项概率逼近
同惠更新,伯努利一样,人们熟悉棣莫弗,想必是因为著名的棣莫弗公式,如下:据数理统计学简史一书上的说明,棣莫弗之所以投身到二项概率的研究,非因伯努利之故,而又是赌博问题(赌博贡献很大丫哈)。有一天一个哥们,也许是个赌徒,向棣莫弗提了一个和赌博相关的一个问题:A,B两人在赌场里赌博,A,B各自的获胜概率是p和q=1−p,赌n局,若A赢的局数X>np,则A付给赌场X−np元,否则B付给赌场np...原创 2019-09-16 09:25:54 · 2406 阅读 · 0 评论 -
13 惠更新的三个关于期望的定理
(一)惠更新的论赌博的计算所谓概率,即指一个事件发生,一种情况出现的可能性大小的数量指标,介于0和1之间,这个概念最初形成于16世纪,说来可能令你意想不到,凡事无绝对,早期很多概率论中的探讨却与掷骰子等当今看来是违法犯罪的赌博活动有着不可分割的联系,可以说,这些赌博活动反而推动了概率论的早期发展。历史是纷繁多杂的,咱们从惠更斯的机遇的规律一书入手,此人指导过微积分的奠基者之一的莱布尼兹学习数学...原创 2019-09-09 18:08:42 · 1163 阅读 · 0 评论 -
12 正态分布的定义
相信,你我可以想象得到,我们现在眼前所看到的正态分布曲线虽然看上去很美,但数学史上任何一个定理的发明几乎都不可能一蹴而就,很多往往经历了几代人的持续努力。因为在科研上诸多观念的革新和突破是有着很多的不易的,或许某个定理在某个时期由某个人点破了,现在的我们看来一切都是理所当然,但在一切没有发现之前,可能许许多多的顶级学者毕其功于一役,耗尽一生,努力了几十年最终也是无功而返。如上文前三节所见,现在...原创 2019-09-09 18:01:48 · 1841 阅读 · 0 评论 -
11 中心极限定理
独立同分布的中心极限定理独立中心极限定理如下两图所示:棣莫弗-拉普拉斯中心极限定理此外,据wikipedia上的介绍,包括上面介绍的棣莫弗-拉普拉斯定理在内,历史上前后发展了三个相关的中心极限定理,它们得出的结论及内容分别是:棣莫弗-拉普拉斯(de Movire - Laplace)定理是中心极限定理的最初版本,讨论了服从二项分布的随机变量序列。 它指出,参数为n, p的二项分布以...原创 2019-09-09 17:58:43 · 11707 阅读 · 0 评论 -
10 协方差矩阵与主成成分分析
协方差矩阵由上,我们已经知道:协方差是衡量两个随机变量的相关程度。且随机变量 之间的协方差可以表示为:故根据已知的样本值可以得到协方差的估计值如下:可以进一步地简化为:如此,便引出了所谓的协方差矩阵:主成成分分析尽管从上面看来,协方差矩阵貌似很简单,可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵,这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看...原创 2019-09-09 17:49:35 · 8559 阅读 · 0 评论 -
09 协方差与相关系数
协方差下图即可说明何谓协方差,同时,引出相关系数的定义:相关系数如上篇kd树blog所述相关系数 ( Correlation coefficient )的定义是:(其中,E为数学期望或均值,D为方差,D开根号为标准差,E{ [X-E(X)] [Y-E(Y)]}称为随机变量X与Y的协方差,记为Cov(X,Y),即Cov(X,Y) = E{ [X-E(X)] [Y-E(Y)]},而两个变量...原创 2019-09-09 17:45:07 · 859 阅读 · 0 评论 -
08 方差与标准差
方差在概率论和统计学中,一个随机变量的方差(Variance)描述的是它的离散程度,也就是该变量离其期望值的距离。一个实随机变量的方差也称为它的二阶矩或二阶中心动差,恰巧也是它的二阶累积量。方差的算术平方根称为该随机变量的标准差。其定义为:如果E(X)是随机变量X的期望值(平均数) 设为服从分布F的随机变量,则称为随机变量或者分布的方差:其中,μ为平均数,N为样本总数。分别针对离散型随机...原创 2019-09-09 17:42:16 · 1914 阅读 · 0 评论 -
07 数学期望
如果X是在概率空间(Ω, P)中的一个随机变量,那么它的期望值E[X]的定义是:并不是每一个随机变量都有期望值的,因为有的时候这个积分不存在。如果两个随机变量的分布相同,则它们的期望值也相同。在概率论和统计学中,数学期望分两种,一种为离散型随机变量的期望值,一种为连续型随机变量的期望值。一个离散性随机变量的期望值(或数学期望、或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和。...原创 2019-09-09 17:36:06 · 478 阅读 · 0 评论 -
06 随机变量及其分布
1.何谓随机变量何谓随机变量?即给定样本空间(S,F),其上的实值函数X:S->R 称为(实值)随机变量。如果随机变量X的取值是有限的或者是可数无穷尽的值,则称为离散随机变量(用白话说,此类随机变量是间断的)。如果由X全部实数或者由一部分区间组成,则称X为连续随机变量,连续随机变量的值是不可数及无穷尽的(用白话说,此类随机变量是连续的,不间断的):也就是说,随机变量分为离散型随机...原创 2019-09-06 17:37:56 · 1939 阅读 · 0 评论 -
05 离散·连续·多维随机变量及其分布 - 概念点
几个基本概念点样本空间定义:随机试验E的所有结果构成的集合称为E的 样本空间,记为S={e},称S中的元素e为样本点,一个元素的单点集称为基本事件.条件概率条件概率就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B),读作“在B条件下A的概率”。联合概率表示两个事件共同发生的概率。A与B的联合概率表示为或者。边缘概率是某个事件发生的概率。边缘概率是这样得到的:...原创 2019-09-06 17:14:44 · 668 阅读 · 0 评论 -
04 微积分 - 偏导数
对于二元函数z = f(x,y) 如果只有自变量x 变化,而自变量y固定 这时它就是x的一元函数,这函数对x的导数,就称为二元函数z = f(x,y)对于x的偏导数。对于二元函数z = f(x,y) 如果只有自变量x 变化,而自变量y固定 这时它就是x的一元函数,这函数对x的导数,就称为二元函数z = f(x,y)对于x的偏导数。如果极限存在,则称此极限为函数z = f(x,y)在点(x0...原创 2019-09-06 17:01:07 · 1728 阅读 · 0 评论 -
03 微积分 - 积分
积分是微积分学与数学分析里的一个核心概念。通常分为定积分和不定积分两种。不定积分的定义不定积分的定义牛顿-莱布尼茨公式原创 2019-09-06 16:05:41 · 330 阅读 · 0 评论 -
02 微积分 - 导数
即:也可记为:或或原创 2019-09-06 15:38:44 · 326 阅读 · 0 评论 -
01 微积分 - 极限
微积分 是概数统计基础,概数统计则是DM&ML之必修课”,是有一定根据的,包括后续数理统计当中,如正态分布的概率密度函数中用到了相关定积分的知识,包括最小二乘法问题的相关探讨求证都用到了求偏导数的等概念,这些都是跟微积分相关的知识。实上,古代数学中,单单无穷小、无穷大的概念就讨论了近200年,而后才由无限发展到极限的概念。极限极限又分为两部分:数列的极限 和 函数的极限。数列的极限...原创 2019-09-06 15:27:11 · 633 阅读 · 0 评论