MathStone
文章平均质量分 56
北境の守卫
Good
展开
-
【Maths】几个重要的角度常量值
Backto Maths Index角度 vs 弧度角度(∘\circ∘)弧度(rad)备注0010.01745329251994357.29577951308190π/2\pi / 2π/2180π\piπ3602π2\pi2πpiint pi = 3;float pi = 3.14;float p...原创 2018-11-21 16:15:02 · 316 阅读 · 0 评论 -
【三角函数】常用的三角函数相关知识
RefRef常用的三角函数公式https://baike.baidu.com/item/%E4%B8%89%E8%A7%92%E5%87%BD%E6%95%B0%E5%85%AC%E5%BC%8F/4374733 : 带推导7个GIF动图帮你瞬间理解三角函数 : git 图很不错...原创 2018-08-13 18:13:46 · 4698 阅读 · 0 评论 -
【线性代数】Moore-Penrose 伪逆
提到矩阵的逆,其背景是我们要求解线性方程 Ax=yAx=y\bf Ax = y, 如果 矩阵AA\bf A有逆矩阵的话,那么 x=A−1yx=A−1y\bf x = A^{-1}y, 解起来,轻松加愉快。但问题是,想要 A−1A−1A^{-1}存在且能求出来,这个条件太苛刻了。如果 AAA 的行数大于列数,那么方程可能没有解如果 AAA 的行数小于列数,那么方程可能有无数多个...原创 2018-08-02 23:37:58 · 3923 阅读 · 0 评论 -
【线性代数】奇异值分解
上次说到矩阵的特征分解,形式优美,含义明确,但是只有方阵才有特征分解,这就限制了特征分解的一般性。假设我们有一个一般化的矩阵 Am×nAm×n\bf A_{m \times n}, 我们依然希望对它进行分解来发现一些隐含的性质,但它又不是方阵,不能特征分解,那怎么办呢?一个可行的方案就是,去构造一个方阵,不就可以进行特征分解了嘛!AATAAT\bf AA^T 或者 ATAAT...原创 2018-08-02 23:05:12 · 565 阅读 · 0 评论 -
【解析几何】解析几何(Analytic geometry)
In classical mathematics, analytic geometry, also known as coordinate geometry or Cartesian geometry, is the study of geometry using a coordinate system. – Wikipedia解析几何,就是把几何放到指定的坐标系中去研究,从而构建起了...原创 2018-08-14 16:26:25 · 2207 阅读 · 0 评论 -
【优化算法】约束优化
定义简单方法:映射-修改复杂方法 : 转化为无约束优化问题通用解决方案 – KKT 方法定义之前提到的梯度下降法,牛顿法都是在定义域全集上寻找函数 f(x)f(x)f(x) 的最大值或者最小值,但有时候,我们希望的不是全集,而是在xxx的某个子集SS\mathbb S 中找到f(x)f(x)f(x)的最大值或者最小值。这称为约束优化(constrained optimi...原创 2018-08-06 20:28:06 · 2279 阅读 · 0 评论 -
【优化算法】牛顿法(Newton's method)
牛顿法是利用 Hessian 矩阵提供的二阶导数信息来指导搜索的最简单的算法。牛顿法基于一个二阶泰勒展开来近似 x0x0x_0附近的 f(x)f(x)f(x), f(x)≈f(x0)+(x−x0)∇xf(x0)+12(x−x0)THf(x0)(x−x0)f(x)≈f(x0)+(x−x0)∇xf(x0)+12(x−x0)THf(x0)(x−x0)f(x) \approx f(x_0) + (x-...原创 2018-08-06 19:22:06 · 2647 阅读 · 0 评论 -
【优化算法】梯度之上:基于 Jacobian 和 Hessian 矩阵的优化算法
上篇说的,仅仅基于梯度的优化算法称为 一阶优化算法(first-order optimization algorithms), 比如最典型的 梯度下降法;很多时候,仅仅使用一阶的梯度信息效果是不够优良的,还需要考虑梯度的梯度, 也就是 二阶优化算法(second-order optimization algorithms), 二阶优化算法基于的是 Hessian 矩阵, 比较典型的方法如 牛顿法。...原创 2018-08-06 18:02:39 · 2417 阅读 · 0 评论 -
【优化算法】基于梯度的优化算法
优化指的是改变 xxx以最大化或最小化某个函数 f(x)f(x)f(x)的任务.我们通常以最小化 f(x)f(x)f(x)指代大多数的最优化问题,最大化可以通过最小化 −f(x)−f(x)-f(x)来实现。我们通常把要最大化或者最小化的函数称为目标函数(objective function) 或者准则(criterion)。我们通常使用一个上标∗∗* 表示最小化或最大化函数的 ...原创 2018-08-06 14:27:04 · 2828 阅读 · 0 评论 -
【集合论】笛卡尔积 Cartesian Product
In set theory (and, usually, in other parts of mathematics), a Cartesian product is a mathematical operation that returns a set (or product set or simply product) from multiple sets. That is, for s...原创 2018-08-10 14:38:42 · 4566 阅读 · 0 评论 -
【数值计算】计算机中的数值计算
上溢和下溢(underflow & overflow)计算机中的数值计算,通常是指通过迭代过程更新解的估计量来解决数学问题, 而不是我们在草稿纸上通过解析过程推导出公式来提供准确解的方法。常用的操作包括两类优化:找到最小化或最大化函数值的参数线性方程组的求解上溢和下溢(underflow & overflow)在数字计算机,数值存储和处理都是离散...原创 2018-08-05 16:59:56 · 6929 阅读 · 0 评论 -
【微积分】导数,偏导数,方向导数与梯度
导数(derivative)偏导数(partial derivative)方向导数 (directional derivative)梯度 (gradient)Ref导数(derivative)导数,是我们最早接触的一元函数中定义的,可以在 xy 平面直角坐标系中方便的观察。当 Δx→0Δx→0\Delta x \to 0 时,P0P0P_0 处的导数就是该点...原创 2018-08-04 10:52:28 · 4236 阅读 · 0 评论 -
【概率论】联合概率, 边缘概率, 条件概率, 链式法则 和 独立性
联合概率分布 joint probability distribution边缘概率分布 marginal probability distribution条件概率和链式法则 conditional probability & chain rule独立性和条件独立性 independent & conditionally independent这些概念考量的是一...原创 2018-09-02 10:46:51 · 10307 阅读 · 1 评论 -
【概率论】伯努利分布 Bernoulli Distribution
【概率论】二项分布 / Bernoulli DistributionBernoulli distribution 是最简单的单个二值随机变量的分布. 它由单个参数 ϕ∈[0,1]ϕ∈[0,1]\phi \in [0,1] 控制, 其中参数 ϕϕ\phi 给出了随机变量等于 111 的概率.举个栗子饮料拧开瓶盖只有两种状态, 谢谢惠顾=0,再来一瓶=1谢谢惠顾=0,再来一瓶=1\te...原创 2018-09-02 15:18:28 · 4141 阅读 · 1 评论 -
【Maths】导数和求导公式
Backto Maths Index基本初等函数公式C′=0C' = 0C′=0 (C is constant)(xa)′=axa−1(x^a)' = ax^{a-1}(xa)′=axa−1, 多项式(ax)′=ax⋅lna(a>0,a≠1);(ex)′=ex(a^x)' = a^x\cdot \ln a(a&am原创 2018-10-27 19:44:27 · 563 阅读 · 0 评论 -
【Maths】等差数列
Backto Maths Index原创 2018-10-27 18:18:27 · 205 阅读 · 0 评论 -
【Maths】等比数列
Backto Maths Index等比数列是指从第二项起,每一项与它的前一项的比值等于同一个常数的一种数列,常用G、P表示。这个常数叫做等比数列的公比,公比通常用字母qqq表示(q≠0q \neq 0q̸=0),等比数列a1≠0a_1 \neq 0a1̸=0。其中{ana_nan}中的每一项均不为0。注:q=1q=1q=1 时,ana_nan为常数列。求和公式Sn={na1,...原创 2018-10-27 18:08:09 · 566 阅读 · 0 评论 -
【Maths】对数 logrithm
Backto Maths Index在数学中,对数是对求幂的逆运算,正如除法是乘法的逆运算.如果 N=ax(a>0,a≠1)N = a^x(a>0, a \neq 1)N=ax(a>0,a̸=1), 那么记 x=logaNx = \log_a Nx=logaN, 其中 aaa叫做对数的底数, NNN叫做真数, xxx叫做 以 aaa为底 NNN 的对...原创 2018-10-27 17:02:20 · 569 阅读 · 0 评论 -
【Maths】指数运算 exponential
Backto Maths Index指数指的是幂运算 an(a≠0)a^n(a \neq 0)an(a̸=0) 中的 nnn, aaa称为底数.a0=1a^0 = 1a0=1an=a×a×⋯×aa^n = a \times a \times \cdots \times aan=a×a×⋯×aan=1a−na^n = \frac 1 {a^{-n}}an=a−n1运算法则a...原创 2018-10-27 16:37:24 · 840 阅读 · 0 评论 -
【Maths】基础数学
指数与对数指数对数 log数列等比数列等差数列三角函数微积分微分、导数积分解析几何原创 2018-10-27 16:24:27 · 387 阅读 · 0 评论 -
【概率论】Laplace 分布 / Laplace Distribution
PDF 满足以下表达式的概率分布称为 Laplace 分布, Laplace(x;μ,γ)=12γexp(−|x−μ|γ)Laplace(x;μ,γ)=12γexp(−|x−μ|γ)Laplace (x; \mu, \gamma) = \frac 1 {2\gamma}exp\left( - \frac{|x-\mu|}{\gamma} \right), 其中 μμ\mu 是位置参数,...原创 2018-09-03 00:15:18 · 3686 阅读 · 0 评论 -
【概率论】指数分布 Exponential Distribution
要先理解 泊松分布, 再过来看指数分布. 泊松分布是单位时间内独立事件发生次数的概率分布,指数分布是独立事件的时间间隔的概率分布。二者共享同一个参数 λλ\lambda, 因为指数分布描述的是两个独立事件之间发生的事件间隔, 是个连续分布, 而且依经验 λλ\lambda 越大, 这个时间间隔就越小, 而且应该就近似等于 1λ1λ\frac 1 \lambda. PDF 记做 p(x;λ)=λ1...原创 2018-09-02 23:25:08 · 10360 阅读 · 0 评论 -
【概率论】二项分布 Binomial Distribution
Binomial Distribution 描述的是 Bernoulli 试验独立重复 nnn 次的结果, 可以用 (n,p)(n,p)(n,p) 两个值来描述, 其中 nnn 代表试验的次数, ppp 与 Bernoulli distribution 中的 ppp 同义. PMF 记做: P(k;n,p)=P(X=k)=(nk)pk(1−p)n−kP(k;n,p)=P(X=k)=(nk)pk(...原创 2018-09-02 22:46:13 · 2706 阅读 · 0 评论 -
【概率论】泊松分布 Poisson Distribution
分布描述满足条件应用场景泊松分布和二项分布泊松分布和指数分布Ref分布描述泊松分布描述的是一个离散随机事件在单位时间内发生的次数, 其对应的场景是我们统计已知单位事件内发生某事件的平均次数 λλ\lambda, 那么我们在一个单位事件内发生 kkk次的概率是多大呢? 比如说医院产房里统计历史数据可知, 平均小时出生3个宝宝,那么在接下来的一个小时内, 出生 0 个...原创 2018-09-02 22:30:11 · 29475 阅读 · 0 评论 -
【概率论】范畴分布 Categorical / Multinoulli Distribution
Multinoulli 分布, 指的也是单个离散型随机变量, 可以随机地取 kkk 个不同的状态, 在每个状态上的概率用 pipip_i 来表示. 因此 Multinoulli 分布可以用一个 k−1k−1k-1 维的向量 pp\mathbb p 表示, 因为这个分布只有 k−1k−1k-1 个自由度, pk=1−∑k−10pipk=1−∑0k−1pip_k = 1 - \sum_0^{k-1}p...原创 2018-09-02 15:45:52 · 6911 阅读 · 0 评论 -
【线性代数】矩阵的行列式
定义用途定义矩阵的行列式,记做 det(A)det(A)det(A), 是一个将方阵 A 映射到实数的函数。行列式等于矩阵特征值的乘积。用途行列式的绝对值可以用来衡量矩阵相乘后空间扩大或者缩小了多少。如果行列式是 0, 那么空间至少沿着某一维完全收缩了,使其失去了所有的体积如果行列式是 1,那么矩阵相乘没有改变空间体积。 ...原创 2018-08-03 22:32:54 · 911 阅读 · 0 评论 -
【线性代数】矩阵的迹运算
定义用途定义矩阵的迹运算是对矩阵对角线上的元素进行求和,即 Tr(A)=∑iAi,iTr(A)=∑iAi,iTr(A) = \sum_i A_{i,i}用途一个是,使得很多矩阵运算变得易于描述,比如矩阵的 Fronenius 范数 可以biaoshi ...原创 2018-08-03 22:21:15 · 11166 阅读 · 0 评论 -
【线性代数】向量的乘法运算
最近把向量乘法运算搞混了,故而温习一下。内容主要来自以下两个文档 向量的乘法运算,长于举例丰富,形象生动 向量的乘法,长于公式性质列举完整 0. 综述常用的, a·b=||a||||b||cosθ, 这个是向量的内积,又叫数量积,又叫点积。 axb = ||a||||b||sinθ,这个是向量的外积,又叫向量积,又叫叉积。 [a b c] = (axb)·...原创 2018-06-29 17:30:45 · 197850 阅读 · 2 评论 -
【概率与统计】极大似然估计(Maximum Likelihood Estimation (MLE) )
基本假设原理阐释公式举例优势劣势基本假设样本之所以出现,是因为它出现的概率大。原理阐释极大似然估计是一种估计总体未知参数的方法。它主要用于点估计问题。所谓点估计是指用一个估计量的观测值来估计未知参数的真值。说穿了就一句话:就是在参数空间中选取使得样本取得观测值的概率最大的参数。公式L(θ1,θ2,...,θk)=∏i=1nf(xi;θ1,θ2,....原创 2018-07-20 11:53:26 · 646 阅读 · 0 评论 -
【线性代数】特殊矩阵
单位矩阵 II\mathbf I上(下)三角矩阵Ref单位矩阵 II\mathbf I对角线上元素为 1 , 其余元素全部为0 的方阵。类似 ⎡⎣⎢100010001⎤⎦⎥[100010001]\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 &原创 2018-07-25 20:16:19 · 1918 阅读 · 0 评论 -
【优化算法】LM算法(Levenberg-Marquardt Algo)
RefRef中文通俗解释Wikipedia详细介绍原创 2018-07-20 10:37:17 · 6353 阅读 · 0 评论 -
【线性代数】上三角矩阵/下三角矩阵
定义性质求逆定义主对角线以下都是零的方阵称为上三角矩阵。主对角线以上都是零的方阵称为下三角矩阵。性质行列式为对角线元素相乘上(下)三角矩阵乘以系数后也是上(下)三角矩阵上(下)三角矩阵间的加减法和乘法运算的结果仍是上(下)三角矩阵。求逆三阶 上三角、下三角 矩阵的求逆公式一般化的上下三角矩阵求逆...原创 2018-07-20 09:50:20 · 35167 阅读 · 0 评论 -
【CV】3D空间中椭球曲面与直线的交点问题
首先,在 3D 空间XYZXYZ\text{XYZ}坐标系中, 椭球曲面的方程为 (x−Cx)2R2x+(y−Cy)2R2y+(z−Cz)2R2z=1(x−Cx)2Rx2+(y−Cy)2Ry2+(z−Cz)2Rz2=1\frac{(x-C_x)^2}{R_x^2} + \frac{(y-C_y)^2}{R_y^2} + \frac{(z-C_z)^2}{R_z^2} = 1,其中 (Cx,Cy,...原创 2018-07-13 19:36:38 · 4480 阅读 · 1 评论 -
【CV】三维空间的旋转问题(Rotation in 3D space)
Yaw, Pitch, Roll 角 以飞机的动作为例,左右摆动是 Yaw 角 – 偏航角上下摆动是 Pitch 角 – 俯仰角绕轴摆动是 Roll 角 – 翻滚角旋转矩阵⎡⎣⎢⎢⎢x′y′z′1⎤⎦⎥⎥⎥=R⋅⎡⎣⎢⎢⎢xyz1⎤⎦⎥⎥⎥[x′y′z′1]=R⋅[xyz1]\begin{bmatrix}x'\\ y'\\ z'\\ 1\end{bmatrix}=R...原创 2018-07-19 15:26:55 · 6065 阅读 · 2 评论 -
【让AI飞】概率论与数理统计
概率论关注的是客观世界中无处不在的可能性,并且对这种可能性进行规范的数学描述。概率论,概率论,核心就是概率, 而对概率从不同侧面的解读,也构成了概率论的两大学派 – 频率学派(frequentist probability) 和 贝叶斯学派(Baysien probability)。下面依次介绍之:我们接触概率的概念,最早都是从抛硬币开始的。比如抛 10 次硬币,统计正面朝上的次数,可能...原创 2018-07-05 23:57:26 · 500 阅读 · 0 评论 -
【优化算法】Jacobian矩阵和Hessian矩阵
RefRefJacobian矩阵和Hessian矩阵梯度(gradient)、雅克比矩阵(Jacobian)、海森矩阵(Hessian)原创 2018-07-23 15:51:55 · 1382 阅读 · 0 评论 -
【CV】空间解析几何与曲面方程
Ref空间解析几何与曲面方程:很清晰高等数学解析几何:总结的很全面了原创 2018-07-17 20:24:28 · 1247 阅读 · 0 评论 -
【线性代数】标量、向量、矩阵和张量(scalar, vector, matrix & tensor)
标量(scalar)向量(vector)矩阵(matrix)张量 (tensor)线性代数中用到的几个基本的数学概念:标量(scalar)一个标量就是一个单独的数,我们在使用标量时,一般都要明确给出它是那种类型的数,例如 s∈R,n∈Ns∈R,n∈Ns \in \mathbb R, n \in \mathbb N。向量(vector)一个向量是一列数。这些数是...原创 2018-07-23 11:37:34 · 16152 阅读 · 0 评论 -
常用分布之 -- 泊松分布
要理解 泊松分布,最好是先理解二项分布。 泊松分布是二项分布 试验次数n 很大而 事件发生概率p 很小时的一种极限形式。Ref二项分布、指数分布与泊松分布的关系泊松分布与指数分布的理解...原创 2018-07-04 17:06:22 · 896 阅读 · 0 评论 -
【线性代数】转置矩阵与逆矩阵, 矩阵的秩(transpose matrix & inverse matrix, rank)
矩阵的转置 – 转置矩阵矩阵的求逆 – 逆矩阵矩阵的秩(rank)矩阵的转置 – 转置矩阵矩阵中行号和列号相等的元素构成的对角线被称为矩阵的主对角线(main diagonal), 矩阵的转置就是以这条轴为镜像,进行 坐下角与右上角元素的翻转, 即主对角线上的元素不动其余元素行号和列号互换,变换位置得到的新矩阵叫做原矩阵的转置矩阵。(AT)i,j=Aj,i(A...原创 2018-07-25 21:13:17 · 7775 阅读 · 0 评论