数学
文章平均质量分 64
人工智能所需要的数学
音程
这个作者很懒,什么都没留下…
展开
-
(统计用词)Identifiability可识别性
比如我现在有一个正态分布,只有我知道他的均值和方差,然后我根据这个正态分布采样无数个点,让另外一个人根据这些采样的点来推断正态分布背后的均值和方差。在无数个点的情况下,这个人应该得到。也就是说不能有另外一个均值和方差竟然可以和我们这一个均值和方差采样到一模一样的无数的点。这里的model你可理解为就是一个分布,比如正态分布,其有两个参数。且正确的均值和方差。正态分布是可识别的。原创 2024-01-24 17:49:45 · 605 阅读 · 0 评论 -
Dirac delta function (狄拉克 delta 函数)
其不是一个具体的函数,而是具有某一性质的函数的总称。比如正态分布只是一个总称,不告诉均值和方差你根本不知道它长什么样。总结就是,该函数满足积分为1,积分区间为无穷小,概率密度为无穷大,所以非常地抽象。原创 2023-10-14 11:29:10 · 282 阅读 · 0 评论 -
(完全理解)二重积分中的换元积分中的雅可比矩阵
我们知道,在二重积分中,换元积分如下:但是很多人并不知道为什么是这样,所以一直记不住换元积分的公式。原创 2022-11-10 11:36:17 · 7693 阅读 · 5 评论 -
(完全解决)为什么二阶行列式的绝对值为面积
以前隐隐约约就记得二阶行列式为面积,却一直忘了怎么来的了。现在重新翻看证明,并且纠正一个小错误,即二阶行列式的绝对值为面积,而不是二阶行列式为面积。我们下面就要证明这个结论。比如上图,两个向量,他们围成一个平行四边形,其面积就是行列式的绝对值。原创 2022-11-08 19:06:31 · 2213 阅读 · 1 评论 -
切比雪夫多项式
切比雪夫是俄国超级有名的,土生土长的数学家,其比较出名的贡献有:切比雪夫多项式和切比雪夫大数定律。本文说切比雪夫多项式。切比雪夫多项式。原创 2022-11-07 11:30:47 · 6982 阅读 · 1 评论 -
概率密度分布(distribution)的均值(期望)(mean)和中值中位数(median)
一开始看到the median of this distribution的时候,人是懵逼的,我这么孤陋寡闻吗?分布竟然还有中值?不是只有期望吗?原创 2022-10-31 15:45:33 · 7711 阅读 · 2 评论 -
stochastic matrix,doubly-stochastic matrix (bistochastic matrix)
有些地方定义bistochastic matrix:the rows and columns of the matrix A sum to 1.(若矩阵A的行和与列和均为1,则A为bistochastic)如果在是stochastic矩阵的基础上,每列的和也均为1,那么此矩阵为 doubly stochastic。一个最简单的双随机矩阵例子是一个每项均为 1/n 的 n x n矩阵。如果一个方阵P的每一项均为非负的并且每行的和均为1,则称其为随机矩阵stochastic;转载 2022-10-04 11:06:37 · 295 阅读 · 0 评论 -
KL divergence,JS divergence,Wasserstein distance是什么
文章目录前言KL divergenceJS divergenceWasserstein distance总结前言这三个东西都可以用来两个分布的差异。其中三最难,其本身是来自另外的领域,如果你不想深入研究,理会精神和来龙去脉即可。KL divergence这个话不多说,更加详细的讲解见:KL散度(主)和交叉熵(次)的介绍。所以此处直接列公式,JS divergence即: Jensen-Shannon Divergence其来源于KL divergence,其计算方式如下:可见,其是对称原创 2021-12-20 16:05:46 · 1389 阅读 · 0 评论 -
多项式概率分布(Multinomial probability distribution)和分类分布(categorical distribution)
其由二项分布推广而来,从而更加普遍。所以我们先回顾一下二项分布。二项分布的典型例子是扔硬币,设硬币正面朝上概率为ppp, 重复扔nnn次硬币,记硬币正面朝上的次数为XXX,显然XXX是一个随机变量,且服从二项分布,即X∼B(n,p)X\sim B(n,p)X∼B(n,p)。把二项分布推广至两种以上的状态,就得到了多项分布。比如做一次实验,结果有k种可能,各自的概率为(p1,…,pk)(p_1,\ldots ,p_k)(p1,…,pk),同样,重复做n次实验,记各种状态出现的次数为(X1,…,Xk)原创 2021-10-05 16:50:27 · 4885 阅读 · 0 评论 -
最短路问题的原始对偶算法形式
问题描述给定一个图,求解源点s到终点t的路径。点弧关联矩阵定义如下:列表示边,行表示一个顶点。可以看到,每一列一定是-1和+1组成,其中-1表示入边,+1表示出边。我们的目标是求解下列线性规划。其中f表示选这条边还是不选,选为1,不选为-1,A表示上述的点弧关联矩阵。c表示费用,b表示流量守恒,即一个可行解(f1,f2…fn)必须构成一条路,而我们发现一条路上:除了s和t之外,其他路上的顶点都是一条边进入,一条边出去,即流量守恒。所以该顶点对应的行,比如是有一个+1对应的边选择了,一个-1原创 2021-05-29 16:02:35 · 1819 阅读 · 0 评论 -
拟阵(matroid)
拟阵中所用的若干术语多半来自于代数(比如线性代数和抽象代数)和图论。拟阵有许多等价的定义方式,最常见的定义方式是用独立集、基、圈、闭集合、闭平面、闭包算子或秩函数。我们下面只会介绍第一个定义拟阵的方式。下面先说拟阵到底有什么用:拟阵有一个最为基本的优化性质:极大独立集一定是最大独立集合,而这个可以在实践中变成贪心算法。定义上面的第2,3个条件为了好理解,可以类比线性独立的概念。简而言之,fff集合就是所有“线性无关”的集合的集合。第二个就是:即大集合中两两元素都线性无关,那么大集合的任何子原创 2021-05-24 20:15:56 · 4784 阅读 · 0 评论 -
张量积
给定两个相同维度的向量:那么张量积为:(注意不要化简,可以乘进去,但是里面的括号可不能丢,现在已经是一个矩阵了!不再是向量了!现在又行索引也有列索引,比如(2,1)就表示元素6)我们平常的是两个向量的数量积:但是,数量积局限于两个向量,但是张量积可以是两个矩阵,并且不需要相同维数。注:M也未必需要是方阵,此处做一个例子。任意一个矩阵N,有张量积为:拓展:(看不懂可以不看了)假设矩阵M中的行列下标用x1,x3x_1,x_3x1,x3来表示,即M中的元素为mx1,x3m_{x_1原创 2021-05-24 17:40:50 · 10724 阅读 · 3 评论 -
级数(函数项),完备正交函数集,傅里叶级数
举两个比较常见的完备正交函数集:在区间[t0,t0+T]上,设w=2π/Tw=2\pi /Tw=2π/T。1.下列函数在该区间是完备正交函数集:{1,cos(nwt),sin(nwt),n=1,2,⋯ }\{1,\cos(nwt),\sin(nwt),n=1,2,\cdots\}{1,cos(nwt),sin(nwt),n=1,2,⋯}2.下列函数在该区间也是完备正交函数集:{ejnwt,n=0,−1,+1,⋯ }\{e^{jnwt},n=0,-1,+1,\cdots \}{ejnwt,n=0原创 2021-05-21 22:09:04 · 4511 阅读 · 0 评论 -
求高维方阵的绝对值最大特征值的方法:幂法(幂迭代)。
假设给定一个n阶方阵AAA,其n个特征值为λi\lambda_iλi,对应的n个特征向量viv_ivi。下面对绝对值最大的特征值和对应的特征向量求解。\color{#FF3030}{下面对绝对值最大的特征值和对应的特征向量求解。}下面对绝对值最大的特征值和对应的特征向量求解。1.求v1v_1v1取n维空间中的一个点xxx,比如(1,...,1)T(1,...,1)^T(1,...,1)T使得x=c1v1+...cnvnx=c_1v_1+...c_nv_nx=c1v1+...cnvn原创 2020-12-06 18:53:38 · 1340 阅读 · 0 评论 -
自反对称传递闭包
搞清楚这个问题首先就要知道这3个概念是针对关系的,我们讨论的关系也都是二元关系。比如一个集合A={a,b,c},如果aRb,则说明a,b具有关系R,我们下面记作(a,b)。从有向图的角度看,把集合中的元素看作顶点,关系看做边,我们可以定义一个集合和关系如下:上面的关系集合为{(a,b),(b,c)}。自反闭包:自反闭包还是一个关系,这个关系包括了上面两个关系,而且还有添加一些关系,即每个集合元素都和自己有关系,即:对称闭包,同样,除了原始的两个关系,还包括这两个关系的对称关系,即如果(a,b)原创 2021-05-20 16:51:05 · 7124 阅读 · 0 评论 -
显式欧拉法求解常微分方程
我们求解的微分方程对象是如下这样的,左边是导数,右边是f(x,y)f(x,y)f(x,y)。例如:那么显式欧拉法的迭代步骤如下:(注意,显式欧拉法不是求解y(x)y(x)y(x)的,而是求解一系列的点(xi,yi)(x_i,y_i)(xi,yi),这些和真实函数中的点非常接近。)其思想如下:我们要解形如y′=f(x,y)y'=f(x,y)y′=f(x,y)这样的微分方程。上如揭示了其奥秘。一般你自己做微分方程的题的时候,我们都有初值,例如y(1)=1y(1)=1y(1)=1,那么在我们这里原创 2021-05-18 20:09:55 · 4412 阅读 · 0 评论 -
牛顿法求解非线性方程的根
问题:牛顿法公式:xk+1=xk−f(xk)f′(xk)x_{k+1}=x_k-\frac{f(x_k)}{f'(x_k)}xk+1=xk−f′(xk)f(xk)从而求出来如下:xk+1=xk−xk2−3xk−exk+22xk−3−exkx_{k+1}=x_k-\frac{x_k^2-3x_k-e^{x_k}+2}{2x_k-3-e^{x_k}}xk+1=xk−2xk−3−exkxk2−3xk−exk+2初值为x0=1x_0=1x0=1设置与真实根的误差不超过10−原创 2021-05-18 19:22:16 · 992 阅读 · 0 评论 -
卡特兰数(Catalan number)
在计算机中,常常都是在栈这个问题碰到的。即出栈次序问题:一个栈(无穷大)的进栈序列为1,2,3,…,n,有多少个不同的出栈序列?数学上的计算公式为:s=C(2n,n)n+1\frac{C(2n,n)}{n+1}n+1C(2n,n),其中C为组合数。C(8,4)5=14\frac{C(8,4)}{5}=145C(8,4)=14,因此总共有14种。使用程序打印出14种出栈序列如下:...原创 2020-12-19 20:19:50 · 186 阅读 · 2 评论 -
线性规划的对偶问题
问题提出:你是一家工厂老板,有四种设备ABCD,擅长生产两种甲乙两种产品,但是生产过程难免带来机器损耗,比如A用了12个小时就会坏掉。生产一件甲产品需要损害机器A两个小时,B1个小时,C4个小时,并且生产成功了的话,可以获得2元钱。原始问题问:你要生产几件甲,生产几件乙可以使得利润最大?答:求解下列线性规划问题:对偶问题问:如果这一天有一个大老板说要收购你的两台机器,叫你放弃自己生产,它至少要给你多少钱你才会同意。大家好好想一想,当然就是原始问题的最大利润喽,大老板只能多给,不能少给,否则原创 2021-04-19 20:48:33 · 1498 阅读 · 0 评论 -
数学中的span以及线性流形是什么意思
span在矩阵论中是指生成线性子空间V1V_1V1的意思。说到线性子空间,那肯定有原线性空间VVV。我们从VVV中取nnn个向量,x1,⋯ ,xnx_1,\cdots,x_nx1,⋯,xn,他们任意线性组合,可以得到一系列的向量,这个过程我们就叫生成,即span。上述由x1,⋯ ,xnx_1,\cdots,x_nx1,⋯,xn任意线性组合生成的向量组成一个集合,我们就叫生成线性子空间V1V_1V1,记作V1=span(x1,⋯ ,xn)V_1=span(x_1,\cdots,x_n)V1原创 2021-04-19 09:21:28 · 6624 阅读 · 0 评论 -
集合:映射,单射,满射,双射
这些概念太重要了,虽然很不起眼,但是几乎所有地方都要用,一旦不清楚,会对一个问题审视错误。集合:元素汇聚在一起,就构成了一个集合。假设有集合A和集合B。映射:将A中的每一个元素,根据一个规则,对应到B中的一个元素去,比如A中是一些儿女,B中是他们的父亲,那么每一个A中的元素都可以对应到B中的唯一一个元素,这就是一种规则,即映射。因为一个人的爸爸只有一个,但是反之未必,因为一个爸爸可能有多个儿女。我们发现,这个和函数的概念非常相似,集合A相当于定义域,映射相当于f。但是集合的概念更加宽泛,正如前面所有原创 2021-04-17 21:29:14 · 184356 阅读 · 0 评论 -
单纯形法(四)理论部分(终结)
阿发原创 2021-04-18 18:03:17 · 629 阅读 · 0 评论 -
线性规划的原始对偶算法
假设有如下原始问题和对偶问题:如果我们能够找到一个x,一个y,满足根据互补松弛定理,即使得:那么这个x,y就是原始问题和对偶问题的最优解。可是,直接这样找,相当于穷举,大海捞针,我们希望给出一个算法来找到。算法思路:我们首先找到对偶问题的一个可行解 yyy,并尝试找到一个原问题的可行解 xxx,使得 xxx 和 yyy 满足互补松弛定理。如果我们找到了这样的 xxx,那么 xxx 和 yyy 就分别是原问题和对偶问题的最优解;否则我们就需要调整 yyy,让它变得更好,继续尝试,直到找到最优解为止原创 2021-04-20 19:36:07 · 4060 阅读 · 0 评论 -
Horn Clause霍尔语句
应用逻辑学家Alfred Horn提出了这样一个概念,便于进行逻辑推理。概念一个任意的clause定义如下:A1, A2, …, An -> B1,B2, …, Bm其中:左边条件AAA是与的关系,右边结论BBB是或的关系。可以看出,一个clause可以有多个结论。如果一个clause最多只有1个结论,那么这种clause就称为horn clause。例如:1.parent(X, Z), parent(Z, Y) -> grandparent(X, Y)2.go原创 2021-01-19 20:31:43 · 2568 阅读 · 0 评论 -
Hadmard product(哈达玛积)
哈达玛积(Hadamard product)是矩阵的一类二元运算,参与运算的两个矩阵要求:若A=(aij)A=(a_{ij})A=(aij)和B=(bij)B=(b_{ij})B=(bij)是两个同阶矩阵,则称矩阵AAA和BBB的哈达玛积为C=(cij)C=(c_{ij})C=(cij),其中则cij=aij×bijc_{ij}=a_{ij}×b_{ij}cij=aij×bij。哈达玛积也称为基本积,以上可以记作A∘B=CA\circ B=CA∘B=C可以看到哈达玛积为两个同阶矩阵的对应元原创 2021-01-21 16:26:14 · 2779 阅读 · 0 评论 -
伪随机数产生的乘同余法
引入我们都知道我们平常代码所用的随机数都是伪随机数,大家是否想过我们的计算机能否产生真随机数?其实,是可以的,比如使用物理方法:但是,伪随机数所以,我们大多都偏爱了伪随机数,下面,让我们来了解伪随机数到底是如何生成的。我们先设计一个函数f(x)f(x)f(x),然后给定x1x_1x1,输出x2x_2x2,即x2=f(x1)x_2=f(x_1)x2=f(x1),然后依次进行下去,x3=f(x2)x_3=f(x_2)x3=f(x2),…,xn=f(xn−1)x_n=f(x_{n-1})原创 2021-03-16 21:53:12 · 1593 阅读 · 0 评论 -
间断点
一、第一类间断点,某个点左右极限均存在,但该点没有定义或者左右极限其中之一不等于该点函数值。这类间断点又可以分为:1.可去间断点左右极限相等,该点取值无所谓,不要取这个极限就行该点没有定义该点有定义2.跳跃间断点左右极限不相等,该点取值无所谓。二、第二类间断点:左右极限有一个不存在即可,该点取值无所谓。无穷间断点:震荡间断点在0处。(注意这个不是无穷间断点,因为靠近0的过程中,会从无穷返回到0,然后又变为无穷,无休止进行下去。而无穷间断点为稳定走向无穷。)...原创 2021-04-09 16:13:03 · 14091 阅读 · 0 评论 -
顺序Guass消去法求解线性方程组的代码实现
import numpy as npdef gauss(A,b): #顺序Gauss消去,要求顺序主子式均大于0。 #而且只适合n阶矩阵,所以这个A式可逆的。 n=A.shape[1] b=b.reshape((b.shape[0],1)) AA=np.hstack((A,b)) for i in range(n-1): for j in range(i+1,n): dij=AA[j][i]/AA[i][i]原创 2021-04-09 20:46:46 · 317 阅读 · 0 评论 -
SOR迭代求解线性方程组代码实现
import numpy as npdef sor(A,b,w,x0,limit): #xor迭代 n=A.shape[1] D=np.zeros((n,n))# print(A) for i in range(n): D[i][i]=A[i][i] L=np.zeros((n,n)) for i in range(n): for j in range(i): L[i][j]=-A[i][j原创 2021-04-09 21:45:27 · 1610 阅读 · 1 评论 -
复数
定义复数的概念我们高中都学过,是对实数的扩充。其一般形式为:a+bi\qquad \qquad \qquad \qquad \qquad a+bia+bi1.其中a,ba,ba,b均为实数,iii为虚数单位,且满足i2=−1i^2=-1i2=−1。2.其中aaa称为实部,bbb称为虚部。模复数a+bia+bia+bi的模定义为∣a+bi∣=a2+b2|a+bi|=\sqrt{a^2+b^2}∣a+bi∣=a2+b2共轭复数a+bia+bia+bi的共轭定义为a−bia-bia−bi。复数原创 2021-04-13 20:24:59 · 995 阅读 · 0 评论 -
单纯形法(一)
先将任何一个线性规划化为标准型。假设有如下的线性规划:min4x1+3x2+5x3min 4x_1+3x_2+5x_3min4x1+3x2+5x3s.t.s.t.s.t.1.x1+x2−x3<=−61.x_1+x_2-x_3<=-61.x1+x2−x3<=−62.x1+2x2−x3<=62.x_1+2x_2-x_3<=62.x1+2x2−x3<=6x1<=0,x2>=0,x3无约束x_1<=0,x_2>=0,x_3无原创 2021-04-03 20:56:01 · 631 阅读 · 0 评论 -
单纯形法(三)(概念部分)
背景给定一个标准的线性规划问题,其系数矩阵A形式如下:由于这个是一个标准的线性规划,所以A行满秩,所以A中一定有m列是线性无关的。举个例子,下面的A是一个3*5的矩阵。我们可以找出3个线性无关的列向量,例如:取后3列:取第2,4,5列:当然还有其他的。概念1基:上述取出的3个线性无关的列向量构成的一个方阵B,我们就叫做基,即B表示Basic。注意到,这个方阵是m*m的。基向量:B中的每一个列向量都叫做基向量。每个基向量都是m*1的。基变量:各个基向量对应的那个变量组成的列向量。原创 2021-04-16 20:33:12 · 9565 阅读 · 0 评论 -
单纯形法(二)(线性规划的基本定理)
前言请先阅读多面体的顶点方向以及分解定理以及多胞形凸组合,后面要用到分解定理。定理设其可行域为PPP,若P !=∅P\ != \emptyP !=∅,则目标函数zzz只有两种情况:z无下界,即不存在最优解。z有下界,即存在最优解,且这个界(最优解)可以在PPP的一个顶点上取得。说明:这个最优解可以在PPP的一个顶点上取得,并不意味着一定要在这个顶点上取得,因为可能最优解可能有很多个点都可以取得,但是其中至少有一个是顶点!证明1.先证明情况1:这个只需要举出一种情况原创 2021-04-14 22:10:29 · 824 阅读 · 0 评论 -
多面体的顶点方向以及分解定理以及多胞形凸组合
定义:对于一个多面体PPP,如果∃ d != 0\exist\ d \ \ !=\ 0∃ d != 0,使得对∀ x0∈P\forall \ x_0 \in P∀ x0∈P,有射线{x∣x=x0+λd,λ>=0}⊂P\{x|x=x_0+\lambda d,\lambda>=0\}\subset P{x∣x=x0+λd,λ>=0}⊂P,则称ddd为PPP的一个顶点方向。举例:原创 2021-04-14 19:47:31 · 1923 阅读 · 0 评论 -
常用的数学公式
欧拉公式:欧拉公式:立方差公式:b3−a3=(b−a)(b2+ab+b2)\qquad b^3-a^3=(b-a)(b^2+ab+b^2)b3−a3=(b−a)(b2+ab+b2)积分中值定理的推广形式:应用:∫abf[a,b,x](x−a)(x−b)dx=f[a,b,ξ]∫ab(x−a)(x−b)dx\int_a^bf[a,b,x](x-a)(x-b)dx=f[a,b,\xi]\int_a^b(x-a)(x-b)dx∫abf[a,b,x](x−a)(x−b)dx=f[a,b,ξ]∫ab原创 2021-04-30 19:32:58 · 386 阅读 · 2 评论 -
一些常见函数的图像
阿斯蒂芬原创 2021-04-30 11:34:55 · 1332 阅读 · 0 评论 -
泊松分布
设X是一个随机变量,如果X服从泊松分布,那么其分布律为:P(X=k)=λkk!e−λP(X=k)=\frac{\lambda^k}{k!}e^{-\lambda}P(X=k)=k!λke−λ上面的分布律中,仅取决于超参数λ\lambdaλ,从而我们称X∼π(λ)X \sim \pi (\lambda )X∼π(λ)。期望:E(X)=λE(X)=\lambdaE(X)=λ。证明:E(X)=∑k=0+∞kλkk!e−λE(X)=\sum_{k=0}^{+\infty}k\frac{\lambda^k原创 2021-04-27 21:36:58 · 6936 阅读 · 0 评论 -
概率论基础知识汇总
存在意义:在数学和统计学中,矩(moment)是对变量分布和形态特点的一组度量。原点矩和中心距的定义直接使用变量XXX计算的矩被称为原点矩(raw moment),矩通常默认就是指原始矩,比如一阶矩,二阶矩。移除均值后X−E(X)X-E(X)X−E(X)计算的矩被称为中心矩(central moment)。nnn阶矩的定义为:vn=∫−∞+∞xnf(x)dxv_n=\int_{-\infty}^{+\infty}x^nf(x)dxvn=∫−∞+∞xnf(x)dxnnn阶中心矩的定义为:原创 2021-04-27 17:46:59 · 2027 阅读 · 0 评论 -
最短路问题的线性规划模型
话不多说,设图G=(V,E),我们要求的是从顶点rrr到sss的最短路径。直接上模型:其中:cec_ece是eee这条边的权值。xex_exe是代表这条边走不走。然后xwvx_{wv}xwv就是指e=(w,v)e=(w,v)e=(w,v)这条边走不走。对于bvb_vbv,举个例子如下:以那个bv=−1,v=rb_v=-1,v=rbv=−1,v=r为例,代入上面的约束条件,令v=rv=rv=r,即源点,顶点1。则那个约束条件变为:0−x12−x13=−10-x_{12}-x_{13}原创 2021-04-24 20:20:01 · 9365 阅读 · 1 评论 -
偏序集、偏序关系和格
今天介绍两个非常重要的概念,并举一个例子形象说明一下。偏序集:定义一个偏序集是由一个集合SSS与一个二元关系 ≤\le≤ 组成的二元组O=(S,≤)O=(S,\leq)O=(S,≤),满足:1.自反性:∀x∈S,x≤x\forall x\in S,x\leq x∀x∈S,x≤x.2.传递性:∀x,∀y,∀z∈S\forall x,\forall y,\forall z\in S∀x,∀y,∀z∈S,若x≤y,y≤zx\leq y,y\leq zx≤y,y≤z,则x≤y≤zx\leq y\leq zx原创 2021-04-22 17:42:48 · 10887 阅读 · 4 评论