数学基础
lilong117194
“The world is not made of strings , but is made of things.”
展开
-
矩阵求导公式,及MathJax公式编辑
最近学到线性回归中要用到向量,矩阵求导,所以就搜集了下资料,总结如下: 矩阵求导有两种布局: 分子布局(numerator layout) 分母布局(denominator layout)下面用向量y对标量x求导简单说明这两种布局的区别。 我们假定所有的向量都是列向量。 y=⎡⎣⎢⎢⎢⎢⎢⎢⎢y1y2y3⋮ym⎤⎦⎥⎥⎥⎥⎥⎥⎥y=\begin{bmatrix}y_{1}\\ y_原创 2017-08-19 23:46:06 · 3189 阅读 · 0 评论 -
卷积的一点补充
首先看一下高中学过的关于逐差法求重力加速度g的过程,其中有s(t)=∫t0v(x)dxs(t)=\int_{0}^{t}v(x)dx,含义就是位移ss是一个随时间tt变化的函数,而整个过程中ss是由这一瞬间的速度v(t)v(t)和瞬间的时间长度d(t)d(t)相乘而来的。也就是函数曲线v(t)v(t)和s=0s=0围城的面积。而卷积的数学定义如下: h(x)=f(x)∗g(x)=∫+∞−∞f原创 2018-01-08 14:07:48 · 325 阅读 · 0 评论 -
为什么梯度的方向与等高线切线方向垂直?
等高线的示意图:三维曲面上的梯度更新过程中,很多地方出现梯度的下降方向是如下这样走的:从图上能够看出,梯度下降的方向与等高线的切线方向垂直。那么为什么会垂直呢?其实是一个高数问题解释假设我们的损失函数为z=f(x,y),在几何上表示是一个曲面,该曲面被平面c(c为常数)所截得的曲线L方程为:这条曲线L在xoy轴面上的投影是一条平面曲线Q,它在x0y平面直角坐标系中的方程为:则我们称平面曲线Q为函数z转载 2017-07-12 13:53:40 · 9966 阅读 · 1 评论 -
正规方程的推倒
对于多元线性回归:当样本由d个属性描述时,此时试图学得:f(xi)=wTxi+bf(x_i)=w^Tx_i+b 使得f(xi)≃yif(x_i)\simeq y_i类似的也可以利用最小二乘法来对w和b进行估计,为了便于讨论,把w和b吸入向量形式a^=(w;b)\hat{a}=(w;b),相应的,把数据集D表示为一个m×(d+1)m\times (d+1)大小的矩阵X,其中每行对应于一个示例,该行前原创 2017-08-29 16:16:00 · 924 阅读 · 1 评论 -
样本距离计算、向量范数、矩阵范数
样本距离给定样本xi=(xi1;xi2;⋯;xin)x_i=(x_{i1};x_{i2};\cdots ;x_{in})与xj=(xj1;xj2;⋯;xjn)x_j=(x_{j1};x_{j2};\cdots ;x_{jn})最常用的是“闵可夫斯基距离”: 即LpL_p范数||xi−xj||p||x_i-x_j||_p distmk(xi,xj)=(∑u=1n|xiu−xju|p)1pdist_原创 2017-09-24 15:10:27 · 2532 阅读 · 1 评论 -
对范数求偏导数
首先介绍点基础知识,另一方面也算是巩固下: A−1A^{-1}表示A的逆矩阵; ATA^T表示A的转置; AHA^H表示Hermitian矩阵(A的共轭转置矩阵A∗==A)基础(1)迹(Trace)eig(A)表示A的特征值(2)行列式(Determinant)(3)特例2*2矩阵以上是摘自:The Matrix Cookbook 也可参考维基百科:Matrix calculusL1范数的次原创 2017-09-24 21:14:08 · 12493 阅读 · 1 评论 -
牛顿法
牛顿法和拟牛顿法是求解无约束最优化的常用方法,牛顿法是迭代算法,每一步需要求解目标函数的海赛矩阵的逆矩阵,计算比较复杂,拟牛顿法通过正定矩阵近似海赛矩阵的逆矩阵或海赛矩阵,简化了这一过程。泰勒公式在看牛顿法之前先看一下泰勒展开: 泰勒公式一句话描述:就是用多项式函数去逼近光滑函数泰勒公式是将一个在x=x0x=x_0处具有n阶导数的函数f(x)f(x)利用关于(x−x0)(x-x_0)的n次多项式来原创 2017-09-27 13:25:23 · 3953 阅读 · 0 评论 -
Gram矩阵
Gram中文名称为格拉姆矩阵,它是个有广泛应用的矩阵。v1,v2,⋯,vnv_1,v_2,\cdots,v_n 是内积空间的一组向量,Gram矩阵定义为: Gij=⟨vi,vj⟩G_{ij}=⟨v_i,v_j⟩,显然其是对称矩阵。其实对于一个XN⋅dX_{N⋅d}(N 个样本,d 个属性)的样本矩阵而言,X⋅X'X⋅X′ 即为 Gram 矩阵;如果 v1,v2,⋯,vnv_1,v_2,\cdo原创 2017-10-11 13:27:28 · 15413 阅读 · 0 评论 -
二次规划
二次规划问题 是一种典型的优化问题,包括凸二次规划和非凸二次规划,在此类问题中,目标函数是变量的二次函数,约束条件是变量的线性不等式。假定变量的个数为dd,约束条件的个数为mm,则标准的二次规划问题形如:minxs.t.12xTQx+cTxAx⩽b\begin{matrix}\min_{x} &\frac{1}{2}x^TQx+c^Tx\\ s.t.&Ax \leqslant b \e原创 2017-10-11 16:16:12 · 32040 阅读 · 2 评论 -
超平面和法向量
超平面常见的平面概念是在三维空间中定义的:Ax+By+Cz+D=0Ax+By+Cz+D=0,原创 2017-10-11 23:41:58 · 15496 阅读 · 4 评论 -
极大似然估计的理解
先大概讲下:极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。简单而言,假设我们要统计全国人口的身高,首先假设这个身高服从服从正态分布,但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高,但是可以通过采样,获取部分人的身高,然后通过极大似然估计来获取上述假设中的正态分布的均值与方差。 极大似然估计中采样需满足一个很重要的假设,就是所有的采样都是独原创 2017-10-13 23:18:22 · 2481 阅读 · 0 评论 -
卷积的理解
初步理解,以离散信号为例: 已知x[0]=a,x[1]=b,x[2]=cx[0] = a, x[1] = b, x[2]=c 已知y[0]=i,y[1]=j,y[2]=ky[0] = i, y[1] = j, y[2]=k 卷积的过程为:第一步,x[n]乘以y[0]并平移到位置0第二步,x[n]乘以y[1]并平移到位置1第三步,x[n]乘以y[2]并平移到位置2最后,把上面三个结原创 2017-10-14 19:29:19 · 1040 阅读 · 0 评论