![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
基础知识
文章平均质量分 91
本栏目为回顾高数、概率论、代数、信息论所学知识,以及阅读一些书本的笔记。
应有光
这个作者很懒,什么都没留下…
展开
-
【基础知识-高数-1】——雅可比行列式与“可逆性”证明一则
最近在看PRML,总是出现雅可比行列式。雅可比行列式体现了变量的微元变换的面积比,虽然我的认识并不深刻,但是好歹经常遇见它,这里证明一个关于它的小结论。我们知道,在一元变量中,我们有:dydxdxdy=1{dy \over dx} {dx \over dy} =1dxdydydx=1但是在多元的变换过程中,我们其实也有类似的好结论,即关于雅可比行列式的结论,不过条件是我们不能把未知数变换少了,因为这相当于把维度降低了,变量单位微元组成的面积求为0了。如下我们从计算的角度证明结论,而不是从严格原创 2022-07-06 00:17:28 · 5629 阅读 · 0 评论 -
【Statistics-6】——差异检验和三大分布
实际上,有些时候我们并不需要判别一个分布的值,而是知道两个分布之间的区别。10. Analyzing the Difference Between Two Groups Using Binomial Proportions还是这个例子,但是我们希望比较俩个城镇之间,对于各自的法案的支持程度,例如第一个镇的人风气比较自由主义做派,第二个镇的人的风气比较保守,那么他们关于类似法案的支持度,很有可能不一样。我们按照假设检验的标准步骤,完成这项调查。当然,我们可以分别估计他们两的情况,然后做出推断,但是这里我们原创 2022-03-31 17:16:16 · 370 阅读 · 0 评论 -
【Statistics-5】——正态分布与二项分布的逼近
在前文中,实际上我们不仅仅在考虑,抽样分布的置信区间与假设检验方法;实际上,我们面对的是一种特殊的分布。当然,我们都学过概率论,所以我们也知道,这其实就是中心极限定理——特别的,这里是二项分布逼近正态分布的情况,然后我们对它采取标准化操作,变为标准正态分布。以下我们还是从直观的、统计的角度来看待、感受标准正态分布,而不是像概率论教材里那样严谨的从数学上证明。8.标准正态分布9.近似条件实际上,...原创 2022-03-31 17:15:43 · 5407 阅读 · 0 评论 -
【Statistics-4】——假设与统计显著的局限性
在上一节中提到,我们做统计分析,倾向于取得一个保守的结果,也就是说要尽可能避免,犯两类错误时的结果。“所谓保守的一侧,就是说我们更倾向于“即使做错判断,也不会发生大问题”的情况,这一面可以多犯点错,因此这种错误的错误率可以高一些;而不是“做错判断,会发生大问题”,我们需要严格的控制错误率。换句话说,这里的保守面,就是分析第一类错误时的假设。”前文【Statistics-3】采取这样的手段,但是实际上前文中,我们也一直强调两件事:我们在没有上帝视角的情况下,没有先验知识;但是我们上面的例子中,都是探讨“一原创 2022-03-25 19:37:09 · 998 阅读 · 0 评论 -
【Statistics-3】——抽样结果的误差分析
4. 频率派假设检验的两类错误第一类错误:例如,一枚公平的硬币,在进行随机实验时,如果我们根据95%置信区间的法则,只有5%的实验内,会让我们错误的认为,这枚公平的硬币是不公平的。即,错误的拒绝正确的假设。第二类错误:例如,一枚不公平的硬币,我们假设它公平,在进行随机实验时,任然可能落入我们的95%置信区间内,我们会错误的认为,这枚硬币是公平的,即,正确的接受错误的假设。如下,我们展示四类情况,两类是在假设检验的框架下得到了正确的结果,两类是得到了错误的结果。列个表格,如下所示:两类错误,再次原创 2022-03-25 16:43:52 · 991 阅读 · 0 评论 -
【Statistics-2】-抽样分布的因素(Dynamics)
2.Sampling Distribution Dynamics我们考虑前文考虑的实际问题:在一个有60000人的社区里,提出新的决议,我们需要知道居民对决议的支持比例。如果我们从中随机抽取一批人进行调查,得到结果,那么我们对于全体居民的支持比例的相关假设,可信度有多高?具体的,前文中,进行随机实验。真实的支持比例为50%,随机抽取100人,统计支持者比例,并进行1000次独立的随机实验。其统计结果如下,我们可以看到其95%的置信区间结果为40%-60%之间。这么大(20%)的置信区间,实际上的作用是非原创 2022-03-25 16:43:27 · 504 阅读 · 0 评论 -
【Statistics-1】-基本抽样分布(背景回顾)
3月底将至,在阅读VAE的过程中,发现自己对于概率论和数理统计的理解非常的浅薄,在这里,阅读一本统计的tutorial:Statistical Analysis Illustrated Foundations You Should Know。并做学习记录。实际上,概率论和数理统计,对于世界的不确定性进行了很好的建模,其用确定的数学语言衡量了世界中的不确定性。因此,概率论的思维和其它代数、几何的问题,不一样,而且应用性强。0.IntroductionReading textbooks doesn’t w原创 2022-03-25 16:42:13 · 408 阅读 · 0 评论 -
【基础知识-熵】——1.熵的建模
其实很多博客对于熵这个概念都说不明白,而且有直接能看出来的错误,这里为了深刻认识,故做此小结。信息熵直观理解熵,我们知到:是不确定的度量。是信息的度量。如果我们完全认识一个事件,那么我们获得了足够大的信息量;反之,则获得的信息量不足。虽然我们已经用概率做了不确定的度量,但是熵和概率比,有什么区别呢?如果我们知到一件事必然发生,虽然它的概率是1,但是熵却是0,没有不确定度。如果一件事必然不发生,虽然概率是0,但是熵也是0,因为没有不确定度。但是如果一个概率为1的事件没发生,或者概率为0的事原创 2022-03-21 18:23:25 · 369 阅读 · 0 评论 -
【考古-1】-2006-ICML-CTC算法
本文是2006年ICML的Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks一文,提出了CTC算法。在不同的地方看到CTC算法很多遍了,因此在这里学习一下CTC算法。中文知乎:https://zhuanlan.zhihu.com/p/88645033教程:https://distill.pub/2017/ctc/代码:https://link原创 2022-01-17 09:53:44 · 195 阅读 · 0 评论 -
【考古-3】——Dynamic time warping(DTW)算法
1.Abstract;2.Intro;3.Conclusion;4.Related works;5.model;6.Experiment;原创 2022-01-18 15:59:18 · 2315 阅读 · 0 评论 -
【一起看花书1.3】——第5章 机器学习基础
本文内容对应于原书的5.7-5.11共5小节内容,其中知识性、结论性的内容偏多,也加入了点个人见解。5.7 监督学习监督学习,本质上是复杂函数的拟合,即给定特征xxx,我们需要得到标签yyy,这不就是求一个函数的拟合嘛?线性回归是比较简单的,从高代、概率论就可以理解,甚至用傅里叶级数、插值,不也是嘛?只不过形式太复杂了,我们不能简单的用这些工具。这里作者大概提了几类方法:概率监督学习SVM(包括使用了核方法的)KNN决策树其中,概率监督学习指的是,我们通过确定正确的输入和输出变量上的有参原创 2021-12-14 16:37:13 · 1871 阅读 · 0 评论 -
【一起看花书1.2】——第五章 机器学习基础
第五章 机器学习基础(2)上一部分概要性的关注了机器学习中的基础概念与基础问题,主要从直觉上阐述了模型选择方面的、参数调整的启发。本节内容进一步地,从统计学方面来粗浅地观察机器学习模型,对应于原书目录5.4-5.6小节。本文目录5.4 估计、偏差、方差5.5.最大似然估计5.6 贝叶斯统计5.4 估计、偏差、方差5.4.1 基础概念这里的“估计”和我们在数理统计中学的“参数估计”概念基本一致;“偏差”类似于自动控制理论中的稳态误差,其实也就是对估计量的误差的期望;“方差”和概率论中的方原创 2021-12-13 20:14:45 · 972 阅读 · 0 评论 -
【一起看花书1.1】——第五章 机器学习基础
第五章 机器学习基础本章介绍的是关于机器学习中的一些模型评价方面的知识。深度学习火了很久,但是深度学习也是发源于ML的感知机方法。我们要想充分理解深度学习,必须对机器学习的基本原理有深刻的理解。作者推荐的ML的书,有:Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. 87, 126Murphy, K. P. (2012). Machine Learning: a Probabilistic Pers原创 2021-12-10 21:34:05 · 1002 阅读 · 0 评论 -
【概率论】一元概率分布的平均化
前段时间在做相关深入思考的时候,突然想到一个问题:如何将一个任意的概率分布,映射为一个平均分布?在这里我们将逐步的讨论这个问题:不详细讨论分布的数学条件上的要求1.问题铺垫设RRR为随机变量,R∈[0,1]R \in [0,1]R∈[0,1],其概率密度函数为Pr(r)。P_r(r)。Pr(r)。现在我们要求一个映射TTT,使得随机变量SSS满足,S=T(R)S=T(R)S=T(R),且S∈[0,1]S \in [0,1]S∈[0,1],SSS为服从均匀分布的随机变量。出于当时研究问题的背景原创 2021-12-07 18:18:21 · 296 阅读 · 0 评论 -
【概率论】正态分布的由来——从大一同学的视角出发
正态分布平时常常遇到,无论是在概率论中的“中心极限定理”,还是平时在学习ML中遇到的“高斯混合模型”,或者是在深度学习中,常常将一些数据假设为正太分布的情况。但是为什么不是平均分布呢?二项分布呢?泊松分布?或者是其它抽样分布?接下来我们将简要探讨正态分布的由来:中心极限定律中心极限定律有很多种形式,包括...原创 2021-12-06 13:55:42 · 996 阅读 · 0 评论