数学
文章平均质量分 59
Norstc
这个作者很懒,什么都没留下…
展开
-
非欧几何简介 Non-Euclidean Geometry
一、欧几里得几何与欧几里得空间这里的欧氏几何描述二维平面的几何, 高维的欧氏几何叫欧几里得空间(三维欧氏几何叫做立体几何)。一句话概括,欧氏空间是欧氏几何在多维情况下的推广。所以欧几里得几何又叫平面几何(plane geometry)(两要素:二维、曲率为0),它基于五条公设:二、欧几里得几何与非欧几何俄罗斯数学家罗巴切夫斯基和匈牙利数学家波约指出,第五条平行公理不一定在所有的几何情况下都成立,并非几何真理,也就是三角形内角和不一定为180。基于“三角形内角≠180°”的几何学叫做非欧几原创 2022-03-01 10:30:58 · 10363 阅读 · 0 评论 -
四元数:从复数到四元数
0、前言我们知道实数、复数的乘法都满足交换律,但是四元数(quaternion)的乘法却不满足交换律。这在物理上的意义是什么呢?其内部的数学道理是什么呢?1、四元数的定义四元数是复数的扩展...原创 2021-12-15 16:03:42 · 4970 阅读 · 0 评论 -
群论:同构 与 同态 (群同构 与 群同态)
0、前言群论中的同态和同构来描述两个群之间的相似关系关系从中文上粗略看,同构好像指相同结构,同态好像不好说。先上结论,从相似关系的程度来看:相同>同构>同态,即同态要求比同构更宽松,同构是一种特殊的同态。1、单射、满射、双射在了解同构和同态前,必须知道这双射这个概念。单射、满射、双射是三种映射的特殊情况。所谓映射就是非空集合X的元素x到非空集合Y的元素y的映射关系。单射(injection):每一个x都有唯一的y与之对应;满射(surjection):每一个y都必有至原创 2021-12-14 20:28:47 · 27792 阅读 · 2 评论 -
通俗理解概率密度函数
0、前言概率密度函数是描述连续随机变量的分布的工具,但是因为它是个“密度”,没有概率分布那么直观,下面就用通俗的说法理解概率密度函数。1、从离续变量出发1.1 离散随机变量对于离散随机变量,顾名思义,随机变量的取值是离散的,如:1.2 离散随机变量的概率分布指离散随机变量每个取值的概率,即:1.3 离散随机变量的累积分布函数定义为:表示随机变量的取值值小于等于自变量的值的概率的和。2.连续随机变量的概率分布2.1 连续随机变量连续随机变量即随机原创 2021-12-10 17:41:11 · 27004 阅读 · 1 评论 -
群论:李群(Lie Group)和几种经典李群
1 连续群的定义连续群,它的元素可由一组实参数表明,且这些参数中至少有一个在某一区域是连续的。设一个参数集合能标明所有群元素,且用的参数数量最少,则参数个数r叫做连续群的维数。例1:所有实数的集合就是一个连续群,因为本身是一个群,且我们可以用一个连续参数表示上的任意元素,更进一步,是一个无限连续阿贝尔群。由于连续变化的参数可以描述无限个元素,所以拓扑群一定是无限群。例2:线性变换构成的集合是一个拓扑群。例3:n个变量构成的齐次线性变换是一个拓扑群,记作,其包含个参数。.原创 2021-12-02 09:42:22 · 6369 阅读 · 0 评论 -
连续群 与 拓扑群
1 连续群的定义连续群,它的元素可由一组实参数表明,且这些参数中至少有一个在某一区域是连续的。设一个参数集合能标明所有群元素,且用的参数数量最少,则参数个数r叫做连续群的维数。例1:所有实数的集合就是一个连续群,因为本身是一个群,且我们可以用一个连续参数表示上的任意元素,更进一步,是一个无限连续阿贝尔群。由于连续变化的参数可以描述无限个元素,所以拓扑群一定是无限群。例2:线性变换构成的集合是一个拓扑群。例3:n个变量构成的齐次线性变换是一个拓扑群,记作,其包含个参数。.原创 2021-12-01 21:47:38 · 2157 阅读 · 0 评论 -
群论:变换群
1. 变换群及其定义群的本质是集合,集合的元素除了数值以外也可以是集合、数对、变换、函数等等。当群的元素是变换时,称作变换群 (transformation group)。变换实际是一个函数,一个一元变量的变换作用于x可以写作表示变换函数有n个参数,。后文用T及其参数表示一个变换。变换的乘积就是两个变换先后作用于变量给定两个变换它们对应函数,那么有:据此可以证明变换群的封闭性、满足结合律、包含单位元、包含逆元的性质。2. 举例例1:复数旋转变换考虑一个复数旋转原创 2021-12-01 16:25:35 · 8734 阅读 · 0 评论 -
群论:群的定义与阿贝尔群
1. 群 (Group) 的定义:群就是定义了二元运算(称为群乘法)且满足下列条件的非空集合:(1) 封闭性:对,满足.(2) 结合律:对,满足.(3) 单位元:存在唯一单位元素使得对由.(4) 逆元:对存在唯一逆元使得.可以看到群运算不要求满足交换律,额外满足交换律的群被称为阿贝尔群(Abel Group)或交换群。根据群中元素的个数分为有限群和无限群。2.群的讨论可以看到群是一个集合,而且必须要定义群乘法。我们可以自己构建一个有限群:,可知G一定满足.原创 2021-11-30 15:48:18 · 11706 阅读 · 0 评论 -
GCN与图谱理论(四):图滤波器
图滤波器定义为对给定图信号的频谱中各个频率各个频率分量的强度进行增强或衰减的操作。原创 2021-02-22 19:53:20 · 1911 阅读 · 0 评论 -
距离 / 相似性 度量方法
1. 距离的严格定义距离的定义:在一个集合中,如果每一对元素均可唯一确定一个实数,使得三条距离公理(正定性,对称性,三角不等式)成立,则该实数可称为这对元素之间的距离。在机器学习领域,被俗称为距离,却不满足三条距离公理的不仅仅有余弦距离,还有 KL 距离,也叫作相对熵,它常用于计算两个分布之间的差异,但不满足对称性和三角不等式。2. 常见距离闵可夫斯基距离 欧里几德距离 曼哈顿距离 切比雪夫距离 马氏距离 余弦相似度 皮尔逊相关系数 汉明距离 杰卡德相似系数 编辑距离 D原创 2021-04-26 15:27:12 · 455 阅读 · 0 评论 -
GCN与图谱理论(一):信号的正交分解 与 傅里叶变换
零、回顾信号的正交分解与傅里叶变换要深入理解图网络与图谱理论,就需要先对谱理论深刻理解,本节从正交分解出发,回顾傅里叶变换的相关内容以往知识传送门:完备正交集,函数/信号的正交分解傅里叶级数(Fourier Series)傅里叶变换、傅里叶变换的推导(Continuous Time Fourier Transform)一、 回顾广义傅里叶级数的相关理论:所谓级数就是无限项的数列求和的函数,广义傅里叶级数做的事情就是把任意信号表示成无限个基信号的和。广义傅里叶级数:任何一个原创 2020-12-22 09:18:52 · 2349 阅读 · 0 评论 -
【通俗易懂的通信】贝叶斯公式 全概率公式 及其理解
贝叶斯公式以及推导出的全概率公式是通信及编码的重要基础知识,因此需要熟记并且理解1.贝叶斯公式条件概率等于共同发生的概率除以单独发生的概率2.全概率公式①以一个事件为条件的所有条件概率之和为13.全概率公式②(由全概率公式①两边同乘以PA得到)事件的概率等于其所有联合事件概率的和...原创 2020-12-02 17:33:33 · 8044 阅读 · 0 评论 -
【通俗易懂的通信】马尔可夫过Ⅲ:马尔可夫链的极限性态与平稳分布
1.问题描述注解:关心给定初始状态与一步转移概率,求极限步数下的状态为j的概率。为求得n步后处于各状态的概率,只需要用初始概率的矢量与n步转移矩阵相乘即可,所以问题转化为求n步转移矩阵,的极限。2.的极限性态:...原创 2020-10-23 16:46:24 · 5248 阅读 · 0 评论 -
【通俗易懂的通信】马尔可夫过程Ⅱ:马尔可夫链中的状态,常返、非常返
0、符号规定:转移概率,从状态i到状态j,n步转移概率,不关心是否重复经过状态j。:首达概率,经过n步第一次从i达到j的概率,规定途中不能经过状态j。:迟早到达的概率,为首达概率的和。:平均转移步数,为到达状态j的期望。...原创 2020-10-22 21:17:24 · 11759 阅读 · 2 评论 -
常用的等价无穷小
原创 2020-10-22 20:54:47 · 11639 阅读 · 0 评论 -
【通俗易懂的通信】马尔可夫过程Ⅰ:马尔可夫链、齐次马尔可夫链、CK方程
0.前言马尔可夫链在香农通信中被用作描述离散信源的工具,所以完全理解马尔可夫链是理解香农信息论的前提1.马尔可夫链的定义注解:定义式中并未说明状态空间的容量,n是序列的长度。A式的意思是,相邻两时刻n+1与n的条件概率只与这两步的概率有关,与先前的概率无关,这叫做无后效性。无后效性我们可以理解为,先前时刻的状态对当前的状态无后效。我们把状态和步数(/序列标号)用一个坐标,(n,i) 表示,即第n步的第i个状态,因此对于随机序列X(n),在每一步在每个状态都有一定概率。齐.原创 2020-10-22 20:35:49 · 14322 阅读 · 0 评论 -
什么是图灵完备性(Turing complete)?
作者:Ran C链接:https://www.zhihu.com/question/20115374/answer/288346717来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。这是一篇旨在帮助理解图灵机及相关概念是什么,而非证明其正确性的回答,它包含以下内容:什么是图灵机 图灵机可以解决什么问题 什么是图灵完备 直观理解图灵完备——Brainfuck语言1. 什么是图灵机图灵机(Turing Machine)是图灵在1936年发表的 "On .转载 2020-10-18 20:09:25 · 29669 阅读 · 7 评论 -
convolution 卷积的直观解释 卷积的物理意义
作者:果程C链接:https://www.zhihu.com/question/21686447/answer/50481954来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 对于初学者,我推荐用复利的例子来理解卷积可能更直观一些:小明存入100元钱,年利率是5%,按复利计算(即将每一年所获利息加入本金,以计算下一年的利息),那么在五年之后他能拿到的...原创 2018-11-05 22:31:04 · 535 阅读 · 2 评论 -
关于平面图到对偶图的转化
什么是平面图?平面图的定义就是所有的边只在顶点处相交, 这里就是一个例子. 你看, 边与边之间没有相交吧~. 其实这是论文PPT的图, 本人画的太丑就不挂出来了. So…对偶图?对于每一个平面图, 都有与其相对应的对偶图. 我们假设上面的例图是图G, 与其对应的对偶图G*, 那么对于G*来说, G*上面的每一个点, 对应的是G里面的每一个面. 比如说下面就是G*...转载 2019-01-06 22:19:20 · 3236 阅读 · 0 评论 -
证明Cn0+Cn1+Cn2+...+Cnn=2^n的方法
注意记住(x+y)^n的计算方法,如下取即得 注:每项前的组合数是如何得来?(x+y)(x+y)...(x+y)共n个,从每个括号中选择是x或者y,如果是y的m次方,就选m个y,那么项的选择方法就有种...原创 2019-01-22 10:21:44 · 31439 阅读 · 1 评论 -
概率论 中的 链式法则
2个事件同时发生的概率:P(a, b) = P(a | b) * P(b)其中:P(a, b)表示 a和b事件同时发生的概率,P(a | b)是一个条件概率,表示在b事件发生的条件下,a发生的概率3个事件的概率链式调用:P(a, b, c) = P(a | b, c) * P(b, c) =P(a | b, c) * P(b | c) * P(c)...原创 2019-08-31 10:19:43 · 14405 阅读 · 2 评论 -
凸优化(Convex Optimization)、线性代数基础知识总结
凸集:集合被称为凸集,如果中任意两点间的线段仍然在中,即对于任意和满足的都有粗略地,如果集合的没一点都可以被其它点沿着他们之间已调无阻碍的路径看见,那么这个集合就是凸集。所谓无阻碍,是指整条路径都在集合中。其中上式是直线的表示方法,如下为图示:附:常见表示::domain,P的定义域: range, P的值域...原创 2018-05-19 17:52:13 · 3174 阅读 · 0 评论 -
最大似然估计(MLE)、最大后验概率估计(MAP)以及贝叶斯学派和频率学派
前言frequentist statistics:模型参数是未知的定值,观测是随机变量;思想是观测数量趋近于无穷大+真实分布属于模型族中->参数的点估计趋近真实值;代表是极大似然估计MLE;不依赖先验。Bayesian statistics:模型参数是随机变量,观测是定值;思想是高熵先验+观测数据——>低熵后验;代表是最大后验概率估计MAPE;依赖先验概率最大似然估计(Ma...原创 2018-09-25 10:29:11 · 5636 阅读 · 1 评论 -
先验概率,后验概率与似然函数
1.先验概率与后验概率先验(A priori;又译:先天)在拉丁文中指“来自先前的东西”,或稍稍引申指“在经验之前”。近代西方传统中,认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较,后验意指“在经验之后”,需要经验。这一区分来自于中世纪逻辑所区分的两种论证,从原因到结果的论证称为“先验的”,而从结果到原因的论证称为“后验的”。验前概率就是通常说的概率,验后概率是一种条件概率...原创 2018-09-12 10:57:04 · 11767 阅读 · 2 评论 -
闭式解/解析解与数值解 closed-form/analytical solution & numerical solution
在解组件特性相关的方程式时,大多数的时候都要去解偏微分或积分式,才能求得其正确的解。依照求解方法的不同,可以分成以下两类:解析解和数值解。解析解(analytical solution)就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题. 所谓的解析解是一种包含分式、三角函数、指数、对数甚至无限级数等基本函数的解的形式。 用来求得解析解的方...转载 2018-05-30 16:46:19 · 1449 阅读 · 0 评论 -
多元函数条件极值的求法 拉格朗日乘数法
一、条件极值概述无其他条件求多元函数的极值,有时候称为无条件极值。但在实际问题中,有时会遇到对函数的自变量还有附加条件的极值问题,称为条件极值。例如,求表面积为a^2而体积为最大的长方体的体积问题。设长方体的三棱长分为x、y、z,那么体积V=xyz。又由表面积条件,有2(xy+yz+xz)=a^2。此类条件极值可转化为无条件极值问题。即根据表面积条件将z表示成x、y的函数,即z=(a^2-2xy)...原创 2018-05-30 16:08:16 · 106455 阅读 · 9 评论 -
完备正交集,函数/信号的正交分解
1.矢量正交与正交分解信号分解就是将信号表示成一组相互正交的信号分量之和。由矢量空间理论可知,任意N维矢量可由N维正交坐标系表示。以二维矢量为例,坐标可表示为ex与ey为x轴和y轴方向的基向量满足两个性质:①正交性②单位模特性矢量空间正交分解的概念可推广到信号空间:类似于任意矢量可以表示为正交基函数的线性组合,在信号空间找到若干个相互正交的信号作为基本信号,任意信号也可以表示为正交波形的加权组合。...原创 2018-05-29 18:18:17 · 29128 阅读 · 2 评论 -
大数定律及中心极限定理
一、定理概述:1.大数定律①弱大数定理(辛钦大数定理)对于独立同分布且具有均值的随机变量,当n很大时,它们的算术平均很可能接近于μ。②伯努利大数定理事件“频率与概率的偏差小于”实际上几乎是必定要发生的(此即频率稳定性的真正含义)。即当实验次数很大时,便可以用事件的频率来代替事件的概率。2.中心极限定理①独立同分布的中心极限定理(林德贝格-列维定理)均值为,方差为的n个独立同分布的随机变量,当n充分...原创 2018-05-28 21:19:40 · 7172 阅读 · 0 评论 -
范数(norm) 几种范数的简单介绍
什么是范数?我们知道距离的定义是一个宽泛的概念,只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念,它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解,我们可以把范数当作距离来理解。在数学上,范数包括向量范数和矩阵范数,向量范数表征向量空间中向量的大小,矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是,对应向量范数,向量空间中的向量都是有大小的,这个大小如何度量...原创 2018-06-04 17:06:45 · 218190 阅读 · 13 评论 -
乘法逆元及其求法
一、相关定理介绍1.乘法逆元如果ax≡1 (mod p),且gcd(a,p)=1(a与p互质),则称a关于模p的乘法逆元为x。下文中,x都表示乘法逆元。2.费马小定理假如a是一个整数,p是一个质数,那么是p的倍数,可以表示为或者写作:3.扩展欧几里得定理已知整数a、b,扩展欧几里得算法可以在求得a、b的最大公约数的同时,能找到整数x、y(其中一个很可能是负数),使它们满足贝祖等式。二、乘法逆元的求...原创 2018-03-19 15:47:40 · 43025 阅读 · 2 评论 -
MATLAB K-means聚类的介绍与使用
K-means算法是硬聚类算法,是典型的基于原型的目标函数聚类方法的代表,它是数据点到原型的某种距离作为优化的目标函数,利用函数求极值的方法得到迭代运算的调整规则。K-means算法以偶是距离作为相似度测度,它是求对应某一初始聚类中心向量V最优分类,使得评价指标J最小。算法采用误差平方和准则函数作为聚类准则函数 K-means聚类算法采用的是将N*P的矩阵X划分为K个类,使得类内对象之间原创 2018-02-07 17:34:24 · 80086 阅读 · 23 评论 -
柯西-施瓦茨不等式的证明
柯西施瓦茨不等式的证明:例题原创 2017-12-18 12:49:45 · 77469 阅读 · 0 评论 -
排队论中的常见分布:泊松分布、指数分布与爱尔朗分布
1.概率分布λ表示单位时间(面积或体积等)该事件平均发生次数(到达率)则p(x=k)表示单位时间(面积或体积等)该事件发生k次的概率。则p(N(t)=k)表示t时间,该事件发生k次的概率。2.数字特征易知,根据定义期望为λ,也能求出方差也为λ。3.应用与举例在实际事例中,当一个事件以固定的平均速率出现时随机且独立地出现时,那么原创 2017-10-08 16:49:41 · 46146 阅读 · 4 评论 -
正定矩阵、负定矩阵、半正定矩阵、半负定矩阵
正定矩阵、负定矩阵、半正定矩阵、半负定矩阵 载▼ 1.正定矩阵 一个n×n的实对称矩阵M是正定的,当且仅当对于所有的非零实系数向量z,都有zTMz > 0。其中zT表示z的转置。2.负定矩阵 与正定矩阵相对应的,一个n×n的埃尔米特矩阵是负定矩阵当且仅当对所有不为零的(或),都有: 3.半正定矩阵 是半正定矩阵当且仅当对所有不为零的(或),都有: 4.半...转载 2018-06-07 20:26:27 · 41638 阅读 · 0 评论 -
矩阵特征值和特征向量求解——特征值分解
工程数学中,非常关键的一个地方,充分的理解矩阵值、矩阵向量的概念和物理意义对于理解机器学习中的,比如主成分分析算法的矩阵向量运算有很好的的帮助作用。...转载 2018-06-07 19:50:06 · 2409 阅读 · 0 评论 -
贝叶斯定理 与 全概率公式
1)条件概率公式 设A,B是两个事件,且P(B)>0,则在事件B发生的条件下,事件A发生的条件概率(conditional probability)为: (2)乘法公式 1.由条件概率公式得: P(AB)=P(A|B)P(B)=P(B|A)P(A) ...原创 2018-05-31 22:09:56 · 6932 阅读 · 0 评论 -
生成学习算法(Generative Learning Algorithm)——机器学习
零 前言0.1 不同的建模思路之前讨论的回归模型,如线性回归、Logistic等都是在x的情况下对y的估计,即对p(y|x;θ)进行建模。为什么使用这样一个条件概率?我们可以从直角坐标系出发给出一个感性的理解。若有m个特征,即xi最大下标为m,每个特征对应不同的一个x轴,其与相同的y轴构成了多个y-xi平面,在每个平面都有一个曲线,拟合结果是给定每个xi得到预测yi的总和。所以都是给定...原创 2018-08-17 17:17:08 · 995 阅读 · 0 评论 -
矩阵求导、几种重要的矩阵及常用的矩阵求导公式
一、矩阵求导 一般来讲,我们约定x=(x1,x2,...xN)Tx=(x1,x2,...xN)T,这是分母布局。常见的矩阵求导方式有:向量对向量求导,标量对向量求导,向量对标量求导。1、向量对向量求导2、标量对向量求导3、向量对标量求导其他的可以参考wiki:维基百科矩阵求导公式二、几种重要的矩阵1、梯度(Gradient) 2、雅克比矩阵(J...转载 2018-08-01 08:57:20 · 156071 阅读 · 7 评论 -
牛顿法(Newton's Method) 解决优化问题——机器学习
一、简介牛顿方法同梯度下降法一样,是一种优化算法,其应用如可解决logistic回归于分类问题中的似然函数最大化。其是一种用于求函数零点的数值方法。二、具体形式首先选择一个与零点相近的起始点,之后遵循以下更新规则不断更新:实际上,对于f(x)上的一个点(x0,f(x0)),求过此点切线(即斜率为f'(x0))与x轴的交点,即解以下方程若原先的点x0记作xn,新得到的...原创 2018-08-04 22:44:42 · 16177 阅读 · 0 评论 -
分类问题与logistic回归 以及其参数求解——机器学习
一、分类问题和logistic函数的提出与其形式针对二分问题,即y为离散且y∈{0,1},线性回归的拟合效果很差。比如一组数据中如果加入了一个特征(横坐标)较大的数据,那么线性回归曲线会出现明显的斜率变化与偏移,拟合效果大打折扣。于是便提出了logistic函数(又称sigmoid函数),其具体形式如下:其大致图像如下:logistic函数的函数取值范围为(0,1),其意义...原创 2018-08-04 22:12:52 · 3708 阅读 · 1 评论