M&Q的博客

一直想看非线性最小二乘问题，但是每次都看得“不求甚解”、“零零散散”，刚好在网上下载到了一个英文版的教程：METHODS FOR NON-LINEAR LEAST SQUARES PROBLEMS（点此下载.pdf），感觉介绍的还不错，内容也没有特别长，所以就自己翻译了一版，供大家交流，如有错误还请指正。在本册内容中，我们讨论以下问题：定义1.1 最小二乘法找到一个局部极小值 ，使得...

哇，开始重新补数学知识了以后，才发现有好多“XX空间”这样的概念啊，这本书说这个，那篇文章又用那个，搞得人云里雾里，所以在这里把基础知识整理一下，主要关注“空间”概念本身和概念之间的区别。线性空间/向量空间线性空间=向量空间！！这两个概念是等价的。线性空间的概念如下：简单来说，线性空间就是定义了加法和数乘运算、且满足上述八条运算规律的非空集合。常见的线性空间有：实数域；全体n维...

极大似然估计（maximum likelihood estimation，MLE），顾名思义，就是“看起来最有可能的估计”。比如说，我们看到一个黑人，会猜测他来自非洲或者美洲，这就是基于自己的经验得到的“最像”事实的推断。极大似然估计的基本原理，就是概率最大的事件，最可能发生，因此在一次试验中就出现的事件应当具有较大的概率。比如刚才的问题中，因为非洲黑人比例最高，那么看到一个黑人，这个黑人来自非洲...

1. 协方差之前，我们讲了随机变量的期望和方差，但是这两个都只用于描述单一的变量，也就是一维变量（可以理解为数轴上的数据点）。那么对于多维变量（平面或空间内的数据点），如何描述变量和变量之间的关系呢？比如说，对于每个学生的各科成绩，我们想知道，数学成绩和物理成绩是不是存在联系？体育好的同学是不是英语不好？协方差就是这样一种用来度量两个随机变量关系的统计量。期望值分别为E(X)和E(Y)的随...

目录一、期望1.离散型随机变量的期望2.连续型随机变量的期望3.期望的性质二、方差和均方差1.定义2.计算三、常见分布1.均匀分布2.二项分布和几何分布3. 泊松分布4.正态分布一、期望期望这个概念，初高中就学过了吧，所以这里就简单说一下定义。1.离散型随机变量的期望2.连续型随机变量的期望3.期望的...

目录直接对矩阵进行奇异值分解利用SVD分解压缩图像利用SVD分解求超定方程的解直接对矩阵进行奇异值分解已知矩阵，对其进行奇异值分解。import numpy as np#创建矩阵AA = np.array([[1,5,7,6,1],[2,1,10,4,4],[3,6,7,5,2]])#利用np.linalg.svd()函数直接进行奇异值分解#该函数有三个返...

啊，终于看到了奇异值分解……To be honest，我写的大部分博文，就是因为看不懂这一块内容所以一步步往回看的……一把辛酸泪啊！前一篇，我们讲到了特征值分解。我们知道，特征值分解，是为了给一个方阵（可对角化的矩阵）找一组特殊的基，也就是特征向量，在这组基下，这个矩阵所代表的线性变换只起到了“缩放”的效果。我们还讲到一种更为特殊的特征值分解，也就是当被分解的矩阵是实对称矩阵（即）时，可以被分...

啊，转行学计算机的过程，就是不断“开倒车”的过程……为了理解概念A，你发现你得先理解概念BCD，为了理解概念B，你发现还得明白概念EFD……一直开倒车到大一的高数线代……不过Anyway，坚持就是胜利，继续看下去吧！！！特征向量和特征矩阵，真的是非常非常重要的概念啊，不管是课本还是论文里，翻一翻就能看到。那它们到底在说什么呢？先甩概念——看起来有点晕，不急，让我们理一理。我们知道，...

小学初中学数学的时候我们都听过老师说过这样的话：求解n个未知数，需要n个方程。现在我们知道，这句话其实是有很大毛病的，因为，只是数量上有n个方程是不够的，这n个方程还需要“有效”，而这所谓的“有效方程”的个数，就是我们现在要讨论的矩阵的秩。线性相关和线性无关若有m+1个n维的不全为0的向量将其中第m+1个向量写成下面的形式：若这里的不全为零，则称这 m+1个向量间存...

正交向量在我的博文程序员的自我修养之数学基础02中介绍了向量内积的概念。我们知道，对于 n维向量，其内积为：仔细观察一下这个表达式，我们不难得出向量内积与矩阵乘法之间的联系：回顾了向量内积之后，我们就比较容易理解正交向量的定义了：若，则称与正交。也就是说，与正交。从这个定义出发，我们很容易得出：零向量与任意同维向量都正交。在二维或三维尺度上，我们非常...

这篇笔记中，我主要通过解决“由离散点拟合平面”这个小问题，学习了超定方程最小二乘解的求解方法。在这里我整理了两种求解思路用以交流。 直接求解超定方程。 我们知道，对于一个平面，其方程可以用来表示。由离散点拟合平面，实际上就是求解超定方程：上述方程可以用来表示。由于A是一个的矩阵，因此我们先在等号两边分别乘以A的转置矩阵，使系数矩阵变为的方阵，之后，通过乘以系数矩阵的逆矩阵求解...

超定方程超定方程，即方程个数大于未知量个数的方程组（与之对应的，欠定方程是方程个数小于未知量个数的方程组）。前面说过了，线性方程组可以改写为矩阵的形式的形式。其中，是一个的系数矩阵，是一个n维的列向量。一般情况下，若（或者，更严谨一点的说法是，如果列满秩，且），那么这就是一个超定方程组了。超定方程一般是不存在解的矛盾方程。例如，两个点一定可以确定一条直线，但是很可能得不到这样一条直线，使它...

真是非常不情愿啊，之前刚刚把矩阵变化讲得非常“玄幻”，但是马上又要转到枯燥的计算上来了。线性方程组是各个方程关于未知量均为一次的方程组。啥意思呢，举个栗子：上就是我们常见的线性方程组了，四个未知数。这个方程组可以用矩阵相乘的方式表示（逆推）：用，，，上面的线性方程组就可以用来表示。所以我们先来讨论一下线性方程组解的情况。1. 矩阵的初等变换解线性方程组的...

零矩阵零矩阵就是所有元素都是0的矩阵，一般记做O。可以在后面加 m,n表示其规模。在前一章，我们讲到，矩阵就是映射。零矩阵，就表示了将所有的点都映到原点的映射。因此，对于任意向量 x，都有Ox = o。对于任意矩阵A，都有： A +O = O + A = A AO = OA = O 0A = O 单位矩阵在一个方阵中，如果从左上到右下的对角元素...

什么是矩阵？按照课本上的定义：矩阵就是由m行n列数放在一起组成的数学对象。或者更简单一点：把数列排成矩形，就是矩阵。对于一个n行m列的矩阵，我们把它叫做一个n*m矩阵。当矩阵的行数和列数相同时，我们称这样的矩阵为正方矩阵，根据其规模将其称为2阶矩阵、3阶矩阵等。...

1. 什么是向量？数学概念嘛，在不同的应用场景下意义是不大一样的，比如说对于机械或者物理的同学，向量是有长度有方向的一个指向空间的带箭头的线段，而对于从事计算机工作的我们来说，向量的定义可以是非常简单粗暴的——“把数排成一列就是向量”是不是很简单？吼吼。当我们需要把一些数据放在一起作为一个整体来处理的时候，我们就用到了向量。比如，下面就分别是我们熟知的，一维向量、二维向量、三维向量了。...

行列式的定义行列式是由一些数据排列成的方阵经过规定的计算方法而得到的一个数，如果行列式中含有未知数，那么行列式就是一个多项式。行列式本质上代表一个数值，这点请与矩阵区别开来。矩阵只是一个数表，行列式还要对这个数表按照规则进一步计算，最终得到一个实数、复数或者多项式。下面是几种常见行列式的计算方式：一阶行列式：| a | = a二阶行列式：三阶行列式：n 阶行列式：...