![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数学积累
文章平均质量分 94
开飞机的小毛驴儿
自律者自由
展开
-
论文中的inductive是什么意思
读文献的时候经常看到inductive这个词,如果按照直接翻译的方式可以译为“归纳的,诱导的”,可感觉不够直观,总是觉得别别扭扭的。直到读到了一篇论文,我才有了相对好一些的理解。论文原文是这样写的:“One convenient property of our model is that the anomaly detector will be inductive, i.e., it can generalize to unseen data points. One can interpret the mo原创 2020-12-30 16:04:43 · 1206 阅读 · 1 评论 -
矩阵迹的常用性质,导数,以及推导过程
转载自:https://blog.csdn.net/weixin_41770169/article/details/79562314,本文只做个人记录学习使用,版权归原作者所有。转载 2020-05-23 03:31:45 · 861 阅读 · 0 评论 -
几种常用的矩阵范数
按道理讲,这些东西应该熟记于心的。但是自己真心不喜欢记这种东西,看到一个总结不错的博客,转载过来以便于自己查看把!原文1. 几种范数矩阵 X∈Rm×nX∈Rm×n,σi(X)σi(X) 表示 XX 的第 ii 大奇异值(即 XX′XX′ 的第 ii 大特征值的均方根){cite recht2010guaranteed}。rr 表示矩阵 XX 的秩(R转载 2017-05-04 16:27:15 · 21115 阅读 · 0 评论 -
张量分解-CP分解
原文地址:http://www.xiongfuli.com/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/2016-06/tensor-decomposition-cp.html,原地址是一个非常好的个人博客。CP分解(Canonical Polyadic Decomposition)1927年Hitchcock提出了CP 分解。CP 分解将一个转载 2017-04-18 11:08:19 · 11292 阅读 · 1 评论 -
稀疏表达:向量、矩阵和张量
写的特别好的一篇博文,看而不转非礼也!原文在下面,不过好像打不开了啊:http://www.cvchina.info/2010/06/01/sparse-representation-vector-matrix-tensor-1/稀疏表达:向量、矩阵与张量(上)2010年6月1日稀疏表达是近年来SP, ML, PR, CV领域中的一大热点,文章可转载 2016-12-19 11:36:20 · 1162 阅读 · 0 评论 -
傅里叶级数与线性代数
前几天旁听了一节小波变换,授课老师讲的非常棒。在开始的时候,老师问了一个问题,傅里叶级数的本质是什么?本质就是线性代数里的线性表示!如何理解呢?网上截几个公式说明一下。上图是傅里叶级数的形式,能不能看成f在基cos(nwt)和sin(nwt)下的线性表示呢?有以下几个问题需要回答一下:1.cos(nwt)和sin(nwt)是基吗?进一步讲,正交吗?正交的概念与内积息息相原创 2017-03-12 16:53:41 · 2317 阅读 · 0 评论 -
有关l2,1范数作用的理解
今天和导师讨论问题的时候,说到了l21范数。导数希望我能解释一下,我明白它的作用可是我知道我没有向老师解释清楚,有些失落。今晚就自己总结一下吧,希望下次再有人问我这个问题的时候我能向别人解释清楚。先看上面l21范数的定义,注意原始矩阵是n行t列的,根号下平方是对列求和,也就是说是在同一行中进行操作的,根号部分就相当于一个l2范数,由此可以看出l21范数实则为矩阵X每一行的l2范数之和。原创 2016-02-19 21:23:35 · 29488 阅读 · 15 评论 -
矩阵核范数极小化问题的交替方向法部分推导
对红框部分该如何推导呢?一开始始终无法理解,后来请教了在中科院读数学博士的大学同学,问题轻松解决,手写稿如下:基本上红框部分能够理解了,后面还有很多内容,随着自己的理解不断增量更新吧!原创 2017-03-09 11:15:41 · 3138 阅读 · 4 评论 -
压缩感知测量矩阵之有限等距性质(Restricted Isometry Property, RIP)
题目:压缩感知测量矩阵之有限等距性质(Restricted Isometry Property,RIP) 阅读压缩感知的文献,RIP绝对是一个抬头不见低头见的英文简写,也就是有限等距性质(Restricted Isometry Property, RIP),尤其是研究测量矩阵的童鞋们,这是一个几乎绕不开的术语,所以在测量矩阵这一块首先讨论一下RIP。一、RIP的定义转载 2016-10-06 20:52:40 · 3015 阅读 · 0 评论 -
M-estimator
在“Foreground Estimation Based on Linear Regression Model with Fused Sparsity on Outliers”这篇文献里,在介绍最小二乘对噪声不鲁棒的时候提到了一个新的东西叫做M-estimators,好像就是之前所说的M估计,在大学里老师好像提过这个东西,但如今我却不知道这究竟是个什么东东了!经网上查阅,把相关东西记录在此,“以原创 2016-10-05 11:13:32 · 7487 阅读 · 0 评论 -
信息检索(IR)的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC
作者的博客写的特别牛,所以博客都转载过来 原文在这里:http://www.cnblogs.com/scnucs/archive/2012/10/10/2718497.html在信息检索、分类体系中,有一系列的指标,搞清楚这些指标对于评价检索和分类性能非常重要,因此最近根据网友的博客做了一个汇总。准确率、召回率、F1信息检索、分类、识别、翻译等领域两个最基本指标是召回率转载 2016-05-31 20:08:01 · 875 阅读 · 0 评论 -
对奇异值分解唯一性的理解
原文在这里http://amsword.is-programmer.com/,转载只做记录方便自己温习,无疑侵权,如有侵权,可联系 jzwang@bjtu.edu.cn 马上删除!转载 2016-07-12 22:46:09 · 16452 阅读 · 1 评论 -
张量分解-Tucker分解
原文地址:http://www.xiongfuli.com/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/2016-06/tensor-decomposition-tucker.htmlTucker分解Tucker的1966年文章中第一次提到了Tucker分解。一个三阶张量的Tucker分解的图示如下图所示。对于一个三阶张量X∈R转载 2017-04-18 11:10:24 · 24506 阅读 · 0 评论 -
多元最大似然估计函数
转载 2018-09-02 22:26:28 · 1005 阅读 · 1 评论 -
Proximal Gradient Method近端梯度算法
转载自:https://blog.csdn.net/lanyanchenxi/article/details/50448640本文参考文献附在最后。是对参考文献的理解。 1:此算法解决凸优化问题模型如下:minF(x)=g(x)+h(x)minF(x)=g(x)+h(x)其中g(x)g(x)凸的,可微的。h(x)h(x) 闭的凸的。其中g(x),h(x)是由F(x)g(x),h(x)是由F(x) ...转载 2018-05-15 21:17:34 · 2944 阅读 · 1 评论 -
为什么局部下降最快的方向就是梯度的负方向?
转载自:https://zhuanlan.zhihu.com/p/36503663,版权归原作者所有。1. 什么是梯度?对于梯度下降算法(Gradient Descent Algorithm),我们都已经很熟悉了。无论是在线性回归(Linear Regression)、逻辑回归(Logistic Regression)还是神经网络(Neural Network)等等,都会用到梯度下降算法。我们先来...转载 2018-05-08 22:13:15 · 2109 阅读 · 0 评论 -
opencv实现PCA人脸降维
文章转载自:http://www.cnblogs.com/tornadomeet/archive/2012/09/06/2673104.html,代码做了一点点的修改和注释,亲测可行。前言: PCA是大家经常用来减少数据集的维数,同时保留数据集中对方差贡献最大的特征来达到简化数据集的目的。本文通过使用PCA来提取人脸中的特征脸这个例子,来熟悉下在oepncv中怎样使用PCA这个类转载 2017-11-02 16:09:46 · 1007 阅读 · 2 评论 -
Kernel PCA 原理和演示
转载自:https://zhuanlan.zhihu.com/p/21583787,版权归原作者所有。主成份(Principal Component Analysis)分析是降维(Dimension Reduction)的重要手段。每一个主成分都是数据在某一个方向上的投影,在不同的方向上这些数据方差Variance的大小由其特征值(eigenvalue)决定。一般我们会选取最大的几个特征值转载 2017-09-25 15:53:23 · 3189 阅读 · 0 评论 -
ADMM算法相关资源
ADMM算法的相关资源转载 2017-08-23 22:04:39 · 1495 阅读 · 0 评论 -
向量,标量对向量求导数
转载自:http://blog.csdn.net/xidianliutingting/article/details/516732071.已知 对谁求导数,就以谁(分母)作为主序,得出结果。比如这里x是列向量,求Ax关于x求导数,那么对x的每个分量分别求偏导数(写成一行),然后整理排成一列(同x一样是列向量)。 同理有 关于x的转置x.T求导数,x.T是行向量,转载 2017-08-16 10:32:11 · 1944 阅读 · 0 评论 -
正则化与数据先验分布的关系
转载自知乎:https://www.zhihu.com/question/23536142先抛给大家一个结论:从贝叶斯的角度来看,正则化等价于对模型参数引入 先验分布 。一. Linear Regression我们先看下最原始的Linear Regression:<img src="https://pic2.zhimg.com/c24e0befa5ee8a84de2转载 2017-05-31 20:53:18 · 3333 阅读 · 1 评论 -
拉普拉斯分布
维基百科中对拉普拉斯分布的解释如下。在概率论和统计学中,拉普拉斯分布是一种连续概率分布。由于它可以看作是两个不同位置的指数分布背靠背拼在一起,所以它也叫双指数分布。如果随机变量的概率密度函数分布为那么它就是拉普拉斯分布。其中μ为位置参数,b>0是尺度参数。与正态分布对比,正态分布是用相对于μ平均值的差的平方来表示,而拉普拉斯概率密度用相对于差的绝对值来表示。因此,拉普拉斯分布的尾部比正原创 2017-05-31 20:48:29 · 14992 阅读 · 0 评论 -
数据归一化与z-score标准化
现实应用中,归一化和标准化都快被叫烂了,很多时候我们都认为二者有相同的意思。粗略上是可以这样认为的,功能是一样的,目的都是消除量纲的影响,以解决指标之间的可比性问题。细细品味,背后还是有些意思的。从几种方法出发。一.min-max标准化min-max标准化,也称为极差法,这是对原始数据的一种线性变换,使原始数据映射到[0-1]之间。所以说,这种标准化我们称之为归一化的时候,本质原创 2016-07-06 16:07:19 · 35728 阅读 · 3 评论 -
Fast Randomized SVD
一、简介标题可译为快速随机奇异值分解,单纯觉得念得拗口,故标题未做翻译。之前看过一点相关内容,当时对这个方法还谈不上理解,随着相关文献看的越来越多,理解也就逐渐加深了。当然,涉及到Terry Tao的地方我没有花大量的时间去研读,所以假设我就知道了。今天下午先不谈奇异值分解与其他方法的联系,只是总结一下我对这个方法的理解。事实上,有很多方法可以计算矩阵的奇异值分解,下述内容利用主流的随机思想来原创 2016-06-30 21:45:12 · 3103 阅读 · 0 评论 -
有关矩阵低秩近似的一个不等式
做矩阵低秩近似的时候,需要默认知道一个基本的不等式,这有助于对低秩矩阵近似有一个更深的理解。今天突然想到了,就尝试证明了一下。这个基本的不等式就是两个矩阵乘积的秩不大于这两个矩阵中任何一个的秩,即rank(AB)下面我给出一个证明,基本思路是利用齐次线性方程组的解的理论来证明,为了方便理解写的啰嗦一些,写的这么啰嗦博友还有还有不明白的地方可以参照陈志杰编的《高等代数与解析几何》中“线性方程原创 2016-06-30 13:50:38 · 3156 阅读 · 0 评论 -
正交矩阵相乘,范数不变性
记录矩阵F范数、2范数与正交矩阵相乘的范数不变性,有些地方也叫做保范性。首先明确一下正交矩阵A'A=AA'=I先看矩阵的2范数,即矩阵A的2范数定义为A最大的奇异值。对A做奇异值分解,不妨记作A=USV',其中U、V为正交矩阵,则在A的两边分别乘以正交矩阵不影响其奇异值,比如说,在A的左边乘以正交矩阵P有PA=PUSV‘,注意到PU乘积仍然为正交矩阵,原因在于(PU)'(PU)=U'P'PU=原创 2016-08-17 11:07:06 · 34631 阅读 · 2 评论 -
QR分解
以下内容多根据wiki翻译转述而来,其中夹杂个人理解。在线性代数里,QR分解是将输入矩阵A分解成两个矩阵乘积的形式A=QR,其中Q是正交矩阵,R是上三角矩阵。QR分解经常用来解决最小回归问题,是特征值算法、QR算法的基础。1 不同情形及相应的定义1.1 方阵情形任何实矩阵A都能够被分解为A=QR其中,Q是一个正交矩阵(其列向量是正交单位向量,即Q‘Q=E),R是一个上三角矩原创 2016-07-12 14:40:42 · 8178 阅读 · 0 评论 -
解析解、闭合解和数值解
原文在这里,总结的不错。 在解组件特性相关的方程式时,大多数的时候都要去解偏微分或积分式,才能求得其正确的解。依照求解方法的不同,可以分成以下两类:解析解和数值解。 解析解(analytical solution)就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题. 所谓的解析解是一种包含分式、三角函数、指数转载 2016-02-28 10:36:15 · 11654 阅读 · 0 评论 -
A tutorial on Principle Component Analysis
虽然无耻地将文章设置成了原创,其实这里原创的含义是我自己写的,而非转载别人的,但事实情况是这篇文章的大部分内容翻译自“A tutorial on Principle Component Analysis",特此声明,本人无意侵权,只是在原文基础上加了一些个人理解,如果想看原文直接百度或google标题就能搜到,非常好的主成分分析入门资料。写此博文,目的有二,其一方便群众,其二是系统梳理一遍加深自己原创 2016-03-20 16:53:47 · 714 阅读 · 0 评论 -
拉普拉斯矩阵
在图论里常谈到邻接矩阵,表示节点之间的邻接关系。今天看到了一点拉普拉斯矩阵的东西,可理解为其由邻接矩阵发展而来,具体的定义为:如果不是对角线上的元素,则拉普拉斯矩阵是原邻接矩阵对应元素的相反数;如果是对角线元素,则拉普拉斯矩阵对角线上的元素是原邻接矩阵对应行除对角线元素外其余元素之和;下面来个图原创 2016-02-22 14:30:31 · 2952 阅读 · 0 评论 -
Dirichlet Distribution
我不生产自己不熟悉的内容,我只是陌生内容的搬运工!向原作致敬! Dirichlet分布可以看做是分布之上的分布。如何理解这句话,我们可以先举个例子:假设我们有一个骰子,其有六面,分别为{1,2,3,4,5,6}。现在我们做了10000次投掷的实验,得到的实验结果是六面分别出现了{2000,2000,2000,2000,1000,1000}次,如果用每一面出现的次数转载 2015-10-10 08:58:30 · 668 阅读 · 0 评论 -
特征值分解与主成分分析
转载自:http://blog.jqian.net/post/pca.html协方差矩阵协方差(Covariance)用于衡量两个变量的总体误差。设两个随机变量 XX 和 YY 的期望值分别为 E(X)E(X) 和 E(Y)E(Y),则其协方差定义为:cov(X,Y)=E((X−E(X))(Y−E(Y)))cov(X,Y)=E((X−E(X))(Y−E(Y)))转载 2016-08-15 09:07:46 · 3053 阅读 · 0 评论 -
正则化奇异值分解Regularized Singular Value Decomposition (RSVD)
原文在这里:http://blog.csdn.net/hlx371240/article/details/42916869下面讲解介绍一种矩阵分解的方法,这个方法是非常实用的。考虑一个m×n的矩阵R,现在是想找到一个U和V矩阵,使其满足,(矩阵R可能是一个稀疏的矩阵)。正规化的奇异值分解(the Regularized Singular Value Decomposit转载 2016-06-30 09:24:44 · 4448 阅读 · 0 评论 -
凸优化交替方向乘子法
原文在这里:http://blog.csdn.net/shanglianlm/article/details/46808793最近开始对凸优化(convex optimization)中的ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法开始感兴趣,接下来我会写一系列关于ADMM(Alternating Direction转载 2016-05-24 15:51:48 · 9566 阅读 · 1 评论 -
归一化作用的解释
刚才实验室的同学问了一下我归一化的作用,但很多时候你总是心里明白却解释不出来,网上找了一个不错的例子记录下来吧,解释出自知乎:https://www.zhihu.com/question/20455227简单的举个例子:一张表有两个变量,一个是体重kg,一个是身高cm。假设一般情况下体重这个变量均值为60(kg),身高均值为170(cm)。1,这两个变量对应的单位不一样,同样是100,对于原创 2016-05-05 11:19:19 · 5471 阅读 · 0 评论 -
绝对中位差
今天读paper的时候看到一个概念叫做median absolute deviation,翻译过来好像叫做绝对中位差,好像还挺有用。根据维基百科的解释在这里做一个整理。定义式为:在统计学中,绝对中位差是刻画一元数据样本变化的一个鲁棒度量。由公式可以看出,其求解还算简单,给定一个数据样本集,首先求其中位数,然后求原始数据减去中位数的绝对值从而形成一个新的数据样本,再求新的数据样本的中原创 2016-03-23 16:34:45 · 10552 阅读 · 1 评论 -
指数函数设置权重
今天读paper的时候突然受到了一点小小的启发,之前没怎么注意到,也算是一个小技巧吧!比如说一个矩阵由若干个列向量组成,为了考虑列向量之间的结构信息,我需要定义一个权重,如果两个列向量a,b距离比较近,那我希望赋予这两个列向量一个较大的权重Wab;如果这两个列向量a,b距离比较远,那我希望给它们一个较小的权重。如果距离用欧式距离来定义的话,我自己的第一直觉是直接通过一个倒数函数就解决了。但出于做论原创 2016-02-22 11:45:23 · 2301 阅读 · 0 评论 -
深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件
我不生产自己不熟悉的内容,我只是陌生内容的搬运工!向原作致敬!在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式约束,可以应用KKT条件去求取。当然,这两个方法求得的结果只是必要条件,只有当是凸函数的情况下,才能保证是充分必要条件。KKT转载 2016-01-14 11:14:19 · 574 阅读 · 0 评论 -
什么是P问题,NP问题和NPC问题?
此文由百度文库上的一个PPT整理而得。先简单的几句话说一下时间复杂度。时间复杂度并不是计算机解决一个问题需要花多长时间,而是当问题规模扩大后,而是当问题规模扩大后,程序需要的时间增长速度有多快。不管程序数据有多大,程序处理花的时间总是那么多的,那我们说这个这个程序很好,具有O(1)的复杂度,也就是常数级复杂度;数据规模变得多大,花的时间也跟着变得有多长,那这个程序具有O(n)的复杂度,原创 2015-12-01 13:13:39 · 777 阅读 · 0 评论 -
Matrix Factorization, Algorithms, Applications, and Avaliable packages
我不生产自己不熟悉的内容,我只是陌生内容的搬运工!向原作致敬!来源:http://www.cvchina.info/2011/09/05/matrix-factorization-jungle/美帝的有心人士收集了市面上的矩阵分解的几乎所有算法和应用,由于源地址在某神秘物质之外,特转载过来,源地址Matrix Decompositions转载 2015-09-07 11:34:58 · 726 阅读 · 0 评论