线性代数与概率统计
线性代数与概率统计
白马负金羁
数据挖掘 | 统计分析 | 图像处理 | 程序设计
展开
-
生日悖论
假设你参加一个舞会,舞池里有30个人,请问是其中某两个人有相同的生日可能性更大呢?还是没有哪两个人有相同生日的可能性更大?这就是所谓的生日悖论,直觉上会觉得一年有365天,如果只有30个人,那么存在两个人同一天生日的可能性应该很低。但是与直觉上的认识相违背的是,通过严密的数学推导可以证明这个可能性其实相当高。特别地,对于60或者更多的人,这种概率甚至要大于99%原创 2017-02-25 22:50:17 · 4843 阅读 · 3 评论 -
二项分布与多项分布
二项分布(Binomial distribution)即重复n次独立的伯努利试验,而多项分布(Multinomial distribution)则是二项分布的的推广。它们都是重要的离散型概率分布模型,而且在很多机器学习模型的推导中亦都有应用原创 2009-07-06 21:50:00 · 6098 阅读 · 6 评论 -
概率论中的矩母函数(MGF)
在概率论中,矩又被称为动差(Moment)。矩量母函数(MGF,Moment Generating Function)又被称为动差生成函数。原创 2010-01-07 21:07:00 · 18411 阅读 · 23 评论 -
线性代数中的一些基础概念整理
线性代数的一大特点就是概念特别多,虽然这些概念并不太复杂,但时间久了突然见到往往很难想起来它们到底是指什么。为了备忘,特别整理了线性代数中的一些常见的基本概念,例如增广矩阵,齐次性,非平凡解以及线性相关等原创 2009-09-18 15:18:00 · 7377 阅读 · 36 评论 -
数学中的各种矩阵大总结
作为线性代数的重要研究内容,矩阵在图像处理等领域也有着非常重要的应用价值。很多特殊矩阵,常常令人眼花缭乱,例如:Toeplitz 矩阵、Hermitian 矩阵、Circulant 矩阵、Unitary 矩阵、Hessian 矩阵、Vandermonde 矩阵和Fourier矩阵等。本文将一一解析这些特殊矩阵,并在最后讨论循环矩阵的傅里叶对角化问题,这也是图像处理与机器视觉中一个应用广泛的数学知识原创 2017-07-04 22:46:34 · 52092 阅读 · 1 评论 -
数学的故事之“共轭”
共轭在数学、物理、化学、地理等学科中都有出现,甚至在数学上也有许许多多的“共轭”,例如:共轭复数、共轭矩阵和共轭分布等等。“轭”字的本意是驾车时套在牲口脖子上的曲木,引申为束缚或控制的意思。既然轭是套在牲口脖子上的曲木,那么显然共轭就是套在两头牲口脖子上的曲木,或者说是两头牲口共用同一根曲木之意原创 2015-11-02 14:43:56 · 17283 阅读 · 4 评论 -
矩阵的Cholesky分解
Cholesky分解是把一个对称正定的矩阵表示成一个下三角矩阵L和其转置的乘积的分解。它要求矩阵的所有特征值必须大于零,故分解的下三角的对角元也是大于零的。它也可以被认为是矩阵LU分解的变形。本文主要介绍线性代数中Cholesky分解的一些内容,并演示在R和MATLAB等数学工具中对矩阵进行Cholesky分解的具体方法原创 2010-11-23 21:27:00 · 18116 阅读 · 55 评论 -
线性代数笔记(1):向量空间与子空间
根据台湾交通大学开放课程线性代数(莊重 特聘教授主讲)之授课内容整理的线性代数笔记,本文主要涉及教材第一章的内容,讨论向量空间与子空间等方面的话题原创 2009-08-10 17:27:00 · 9202 阅读 · 21 评论 -
线性代数笔记(2):线性变换及其矩阵表示
根据台湾交通大学开放课程线性代数(莊重 特聘教授主讲)之授课内容整理的线性代数笔记,本文主要涉及教材第二章的内容,讨论线性变换及其矩阵表示等方面的话题.原创 2009-08-13 10:05:00 · 5802 阅读 · 13 评论 -
线性代数笔记(3):基本矩阵操作与线性方程组的解
根据台湾交通大学开放课程线性代数(莊重 特聘教授主讲)之授课内容整理的线性代数笔记,本文主要涉及教材第三章的内容,讨论基本矩阵操作与线性方程组的解等方面的话题原创 2009-11-11 13:04:00 · 7189 阅读 · 12 评论 -
线性代数笔记(5):矩阵的对角化
根据台湾交通大学开放课程线性代数(莊重 特聘教授主讲)之授课内容整理的线性代数笔记,本文主要涉及教材第五章的内容,讨论特征值和特征向量的定义、矩阵(或算子)对角化有关的一些结论原创 2009-09-23 13:05:00 · 4683 阅读 · 7 评论 -
线性代数笔记(6):内积空间(上)
根据台湾交通大学开放课程线性代数(莊重 特聘教授主讲)之授课内容整理的线性代数笔记,本文主要涉及教材第三章的内容,讨论内积的定义、内积空间与范数的解等方面的话题原创 2009-11-05 10:00:00 · 18090 阅读 · 38 评论 -
线性代数笔记(6):内积空间(下)
根据台湾交通大学开放课程线性代数(莊重 特聘教授主讲)之授课内容整理的线性代数笔记,本文主要涉及教材第六章的内容,讨论Normal算子、伴随矩阵、投影、酉矩阵等方面的话题原创 2009-11-09 10:31:00 · 8720 阅读 · 14 评论 -
最小二乘问题(上)
最小二乘法是求解线性回归问题时会介绍到的一种重要方法。本文会跳出线性回归的框架,讨论更泛化的最小二乘问题,并试图采用矩阵的语言来推导最小二乘问题的一般解的形式原创 2009-10-09 18:11:00 · 2700 阅读 · 6 评论 -
最小二乘问题(下)
泛函分析是对以往许多数学问题或者领域进行高度抽象和综合的结果,其主要研究对象之一是抽象空间。在泛函分析中,实数系、矩阵、多项式以及函数族这些看似关联不大的概念都可以抽成空间。最小二乘法是求解线性回归问题时会介绍到的一种重要方法。本文会跳出线性回归的框架,讨论更泛化的最小二乘问题,并试图采用泛函分析中的一些技术来审视更加泛化的最小二乘问题原创 2016-11-28 17:45:06 · 7409 阅读 · 2 评论 -
施密特正交化(Gram–Schmidt process)
在线性代数中,如果内积空间上的一组向量能够张成一个子空间,那么这一组向量就称为这个子空间的一个基。Gram-Schmidt正交化提供了一种方法,能够通过这一子空间上的一个基得出子空间的一个正交基,并可进一步求出对应的标准正交基原创 2009-11-18 15:06:00 · 16313 阅读 · 16 评论 -
Chapman-Kolmogorov Equation
在概率论中,尤其是随机过程理论中,Chapman-Kolmogorov等式是一个重要的结论。它将一个随机过程的几个不同维度的联合分布函数联系在一起。如果随机过程特定为马尔可夫链,那么Chapman-Kolmogorov等式就是关于转移概率的公式原创 2009-07-10 09:07:00 · 10051 阅读 · 9 评论 -
SVD的应用举例与矩阵求伪逆
奇异值分解SVD无论是在理论、在计算都有很多实际的用途,特别地,在机器学习中SVD亦有重要应用。本文主要结合一些具体的例子来讨论SVD的一些应用,并引出关于矩阵求伪逆的概念原创 2009-08-18 19:12:00 · 11344 阅读 · 34 评论 -
矩阵的极限与马尔科夫链(上)
工欲善其事必先利其器。机器学习、数据挖掘、自然语言处理等等学科与数学结合非常紧密,要想真正理解这些课程中的诸多细节,势必要把数学基础打牢。管中窥豹,可见一斑。本文主要探讨和马尔科夫链有关的一些数学知识原创 2009-08-17 17:59:00 · 11520 阅读 · 15 评论 -
矩阵的极限与马尔科夫链(下)
工欲善其事必先利其器。机器学习、数据挖掘、自然语言处理等等学科与数学结合非常紧密,要想真正理解这些课程中的诸多细节,势必要把数学基础打牢。管中窥豹,可见一斑。本文主要探讨和马尔科夫链有关的一些数学知识原创 2009-08-21 16:29:00 · 5858 阅读 · 12 评论 -
矩阵的核(kernel)与象(image)
本文介绍矩阵论中一对非常重要的概念:核(kernel)与象(image)。这部分内容有助于我们从更加深入的层次去审视矩阵与线性变换的关系,对于更进一步地学习和领会泛函分析中的内容也很有帮助原创 2009-09-03 00:38:00 · 53998 阅读 · 17 评论 -
哈代-温伯格(Hardy-Weinberg)定律
哈代-温伯格(Hardy-Weinberg)定律是遗传学中一个著名的结论,而且它也是一个非常有名的应用数学问题。哈代-温伯格定律表明:对于一个大且随机交配的种群,基因频率和基因型频率在没有迁移、突变和选择的条件下会保持不变。本文将从矩阵(随机过程/马尔科夫链)的角度来阐释这个问题原创 2010-11-06 18:09:00 · 10969 阅读 · 48 评论