来源:https://maiya.fan/blog?id=656617426aa58e39d930191d
1 初等数学
1.1 已知三个点求平面方程
https://blog.csdn.net/id145/article/details/100096873
1.2 空间坐标系
(1) 使用右手系确定坐标轴关系,y轴为铅锤方向
(2) 使用右手定则确定角度正负
(3) 对于极坐标系,变量排序为距离、偏航角、俯仰角
2 图论笔记
2.1 自环
一条边的两个顶点相同就是自环。
2.2 重边
两条边顶点相同,方向相同(无向图默认方向相同),就是重边,也叫平行边。
2.3 简单图
没有自环和重边的图就是简单图。
2.4 完全图
每一对顶点都是边相连接的简单图称为完全图。
2.5 基础有向图(underlying digraph)
将有向图的方向去掉,所得到的无向图。
2.6 子图
图H的顶点和边都是图G的顶点和边的子集。
2.7 生成子图
图H的顶点和图G的顶点相同,H的边是G的边的子集,则称H是G的生成子图。
2.8 随即有向图
根据概率P从N个顶点所组成的完全有向图的生成子图中抽取一个图G,就是随机图。
2.9 图同构
图A和图B,图A中的边a映射到图B中的边b,a的两个顶点映射到图B中也有两个顶点,由a的两个顶点映射到B中的两个顶点正好是b的两个顶点,这就是图的同构。
2.10 点传递图
顶点保持自同构的图。
2.11 边传递图
边保持自同构的图。
2.12 对称图
既是点传递,又是边传递的图。
2.13 弱连通图和强连通图
有向图转化为无向图后,如果是连通图,则是弱连通图;
图中每对顶点,都是双向连接的,则是强连通图;
2.14 图的邻接矩阵的行表示起点,列表示终点。通信中行表示发送,列表示接受
3 概率论、数理统计和随机过程
3.1 概率论
3.1.1 协方差、相关函数、相关系数
协方差是两个随机变量分别减去均值后相乘的期望。
相关函数是两个随机变量直接相乘的期望。
相关系数是两个随机变量的协方差除标准差的乘积后的值。
3.1.2 特征函数、谱分解、功率谱密度
特征函数是随机变量的概率密度函数进行傅里叶逆变换。
平稳过程中,功率谱密度是将随机变量的相关函数进行傅里叶变换。
功率谱为常数表示相关函数为冲激函数,则仅同一时间相关,不同时间的随机变量不相关。
功率谱是频谱的绝对值平方,因此功率谱经过某个滤波器时,并不是与滤波器时域冲激响应直接卷积。而是乘传递函数的幅值的平方。
3.1.3 独立与不相关的区别
不相关是指不线性相关,而独立是指两个随机变量一点关系都没有。
3.1.4 混沌和随机的区别是什么
之所以感到难以分清混沌和随机,是因为这两者都使你失去了预测能力。但是,两者使你失去预测能力的原因截然不同:混沌是因为结果对初始条件的极端敏感性,随机是因为同一个初始条件可以产生不同的结果。
在混沌体系中,同一个初始条件必然产生同一个结果。因此,在原则上,如果你精确地知道了初始条件,你就可以精确地预测结果。问题只是在于,如果这个初始条件不是你在计算机上设置的,而是你测量得到的,那么测量总会有误差。也就是说,你的初始条件实际上只能确定在一个小区间里(比如说从0.12345678到0.12345679之间),至于在这个小区间里取哪个值,就不知道了。
你也许会觉得,初始条件已经准确到小数点后第8位了,由此得到的结果无论如何都差不多。错了!混沌这种现象,说的就是“差之毫厘,谬以千里”。经过不长的一段时间,从0.12345678出发的那个轨迹,和从0.12345679出发的那个轨迹,就会变得大相径庭,你完全看不出它们是从如此相近的初始条件出发的。用数学语言说,两条轨迹之间的差异随时间指数增长,这就叫做混沌。在现实生活中,多体的牛顿力学体系,几乎全都是混沌的。
3.2 数理统计
3.2.1 频率学派和贝叶斯学派的区别
频率学派把参数当作条件,观测当变量,认为使似然函数最大的是估计结果;
贝叶斯学派把参数当变量,观测当条件,认为使后验概率最大的是估计结果。
3.2.2 最小后验期望损失估计
定义损失函数,损失函数在后验情况下最小即为估计结果。对于任何损失函数,根据Sherman定理[1],估计结果是观测的条件期望。
如果量测和待估计参数为联合高斯, 则BLUE估计和最小后验期望估计完全一致.
3.2.3 BLUE估计
是根据无偏性和误差的均方值最小求得估计。不涉及分布信息,仅仅使用协方差阵。但实际上也是使用了分布信息(二阶矩)。通过计算,得到与二阶矩相关的特殊表达式,且恰好与最小后验期望估计相同。
如果量测和待估计参数为联合高斯, 则BLUE估计和最小后验期望估计完全一致.
3.2.4 WLS(最小二乘)估计
是根据多组量测,得到估计与量测的差值的最小均方值。未使用任何分布信息。与BLUE的区别是,BLUE的估计与实际,WLS是估计与量测。一维情况下,等于求平均值。
测量误差(测量)服从高斯分布的情况下, 最小二乘法等价于极大似然估计。
3.2.5 ML(极大似然)估计
是使似然函数最大的估计。需要使用分布信息,但是不对分布信息求期望,而是只选择最大概率的那个点。
测量误差(测量)服从高斯分布的情况下, 最小二乘法等价于极大似然估计。
3.2.6 主成分估计
作用是剔除非主要成分,实现降维处理。降维处理之后使用了LS估计,理论上也可以使用其他,但是实际上只知道协方差阵,因此使用LS。
3.2.7 最大后验估计(MAP)
是贝叶斯学派的典型应用。
3.2.8 EM(期望极大)法
用于残缺量测时的参数估计。使用了极大似然估计方法。因为残缺量测时,直接使用似然函数公式复杂(未求证),所以引入EM方法。需要知道完全量测下的似然函数和残缺量测可能的取值分布。此处的迭代不是时间上的迭代,而是次数上的迭代,相当于仅仅求极大值,所以在点估计中。
3.2.9 极大似然估计和最大后验估计的区别
https://zhuanlan.zhihu.com/p/361616235
极大似然估计是假设的先验分布服从均匀分布, 每个取值的概率都是相等的. 而最大后验估计会预先设置一个先验分布,如果先验分布设置的准确,则最大后验估计更准确。
最大后验估计相比于极大似然估计多了一个先验的系数. 通过公式推导可知, 该先验的系数, 在数据量N较小时, 占有较大比重, 而当数据量N较大时, 先验系数比重变小. 这就意味着, 虽然极大似然估计相当于其先验分布为均值并于最大后验估计不同, 但是随着数据量的增加, 两者并没有什么区别. 数据量的增加不会让最大后验估计的先验产生变化, 而是削弱了先验概率的影响.
3.2.10 贝叶斯推断
https://www.zhihu.com/question/264522518/answer/283060136
3.3 随机过程
3.3.1 经典的随机过程
3.3.1.1 马尔可夫过程
无后效性:也称马尔可夫性。指如果在某个阶段上过程的状态已知,则从此阶段以后过程的发展变化仅与此阶段的状态有关,而与过程在此阶段以前的阶段所经历过的状态无关。
马尔可夫过程/链:无后效性的过程就是马尔可夫过程。举例,当前时刻的状态受前一时刻的影响为一阶马尔可夫过程,受前两个时刻的影响为二阶马尔可夫过程。
马尔可夫链的平稳性:存在一个分布,使得转移后分布不变,则称马尔可夫链是平稳的。(马尔科夫链平稳性证明:https://www.zhihu.com/question/443244508/answer/1721507249)
马尔可夫链的遍历性:转移次数趋于无穷时,概率分布相对稳定。
3.3.1.2 其他经典过程
独立增量过程:是在不相交时段上增量相互独立的随机过程。
维纳过程:独立增量过程的分布只与时间差有关。高斯白噪声积分产生维纳过程。
白噪声过程:随机变量的每一时刻不相关,自相关函数为冲激函数,反映到频域为功率谱密度为常量。
3.3.2 平稳与遍历
平稳性:统计特性不随时间变化而变化。
遍历性:时间平均可以估计统计平均。遍历的前提是平稳。
3.4 参考文献
[1] 韩崇昭.多源信息融合[M].第19页
4 矩阵论
4.1 矩阵向量求导
https://blog.csdn.net/MAX_Hope/article/details/80264229
4.2 求四阶矩
https://blog.csdn.net/je1026/article/details/89535854
4.3 线性子空间
线性子空间必然过原点, 可以直观的理解为线性空间的一部分向量组成的线性空间.
4.4 线性流行
线性流行是线性空间中线性子空间的一个平移, 线性子空间必然过原点, 而线性流形则不一定. 线性子空间相当于过原点的直线, 线性流形相当于有截距的直线.
4.5 流形
流形本身就指的是空间, 而不是具体的形状, 其不处于某个空间之下, 而是其本身就是空间, 自身空间外的部分忽略. 因此, 如果一个空间是弯曲的, 则不适用于欧式空间, 因此, 流形的定义是局部满足欧式空间, 但局部不是欧式空间, 因为空间是一个无限大的概念, 而局部是一个小的范围.
平面是二维流形. 其他流形的维度依此类推
4.6 张量
https://www.zhihu.com/question/23720923/answer/32739132
描述张量大小的名词叫做阶数,不同于维数,阶数表明具有相同量的数量(个人理解,极有可能不对,但是有助于理解阶数的概念)。比如,标量为一维量,多个标量叠加形成矢量,多个矢量叠加形成矩阵,多个矩阵叠加就是立方体形式的量,该例中多个标量并没有表征具体维数,也就是阶数的增加与维数无关,维数的概念只存在矢量之中。
4.7 矩阵行表示状态,列表示不同的个体
5 泛函分析
5.1 算子
算子是函数空间到函数空间的映射。
函数是有限维空间到数域的映射。
也就是说,算子加某个自变量得到的是函数,函数加自变量得到的是数值。