这还能被占用？-CSDN博客

原创维纳滤波梯度最速下降最小均方梯度随机下降最小二乘迭代最小二乘分别推导及其关系

Winner Filte先从维纳滤波器说起，M阶维纳滤波的模型为(1)e(n)=d(n)−WHU(n)e(n) = d(n) - W^HU(n) \tag{1}e(n)=d(n)−WHU(n)(1)其中W=[W(0),⋯ ,W(M−1)]T,U(n)=[U(0),⋯ ,U(M−1)]TW=[W(0),\cdots,W(M-1)]^T...

2019-06-09 21:18:44 777

原创卡尔曼滤波的推导

与维纳滤波不同，卡尔曼滤波不是简单地把系统看做一个黑匣子。卡尔曼滤波认为，可以对系统建立状态方程来增加对于系统的了解。事实上，这种看法在我们生活中是具有普遍意义的。比如火箭的轨迹，严格遵守动力学原理；天气预报严格遵守大气学原理等等卡尔曼滤波的的模型依赖于两个方程，即系统的状态方程和观测方程，如下Xn=Fn(Xn−1,Vn)Yn=Hn(Xn,Wn)X_n=F_n(X_{n-1},V_n)\\...

2019-01-17 21:45:49 429

原创 PCA

why信息的冗余增加计算成本，可以通过对数据的分析来降低数据的维度。principal component analysis(PCA)就是一种非常有效的方式。what is PCA我们试图通过线性映射矩阵 WWW 来对原始 ddd 维的特征空间 U=[u1,u2,⋯&amp;ThinSpace;,ud]TU=[u_1,u_2,\cdots,u_d]^TU=[u1,u2,⋯,ud]T 进...

2018-12-23 21:53:25 230

原创矩阵的奇异值分解

矩阵的奇异值分解设A∈Rm×nA \in R^{m\times n}A∈Rm×n,则存在正交矩阵 UUU 和正交矩阵 VVV ，,使得A=U[ΣOOO]VT,Σ=diag(σ1,⋯&ThinSpace;,σr),σi为A的奇异值A=U\begin{bmatrix}\Sigma &amp; O \\O &amp;O\end{bmatrix}V^T,\Sigma...

2018-12-21 15:21:01 285

原创小波域图像降噪

小波域图像去噪基本模型考虑加性噪声模型y=x+ny=x+ny=x+n其中， y为观测图像， x 为真实图像，n为噪声等号两边进行小波变换，因为小波变换的叠加性可得Y=X+NY=X+NY=X+N其中 Y 为 y 的小波变换，X 为 x 的小波变换， N 为 n 的小波变换从统计学的角度来讲，我们要得到真是图像 X 的最有估计 X^\hat{X}X^，即X^=argmax⁡X...

2018-12-15 21:40:35 2234 6

原创 BP算法有监督训练人工神经网络

BP误差反向传播算法简介BP（Back Propagation）算法是有监督情况下进行训练神经网络中权重系数的重要方法。神经网络是判别模型的重要组成部分。而判别模型又是模式识别的一大块。关系如下图BP算法由Rumelhart和McClelland于1985年提出。核心思想是利用输出后的误差来估计输出层的前一层的误差，再用这个误差设计更前一层的误差，如此一层一层地反向传播下去，从而获得其他各...

2018-11-07 20:16:41 2011 1

原创线性判别函数

回顾模式分类的途径思路一：估计条件概率密度函数，然后利用贝叶斯公式求出后验概率进行决策。而概率密度函数的估计有参数估计和分参数估计两种方式。其中参数估计有最大似然估计和贝叶斯估计，非参数估计有Parzen窗估计和KNN估计。思路二：直接用KNN算出后验概率即可进行决策思路三：直接找到可用于分类的判别函数。这篇文章，我们主要讨论思路三，直接通过数据确定线性判别函数的参数，进而分类决策。我...

2018-10-25 23:31:16 1044

原创 K近邻无参数估计和K近邻分类器

上篇文章我们介绍了Parzen窗无参数估计的方法，这篇文章主要介绍令外一种无参数估计方法——K近邻法（KNN）。然后基于K近邻的原理，简单介绍K近邻分类器前文讲过，与Parzen窗方法不同的是，K近邻估计要求每个空间窗口含有相同数目的个样本数据。根据第x个空间的相对大小，来衡量该空间中心的概率密度，有因此只...

2018-10-20 19:51:24 1795 2

原创实对称矩阵

实对称矩阵的定义，如果n阶矩阵A满足则称A为实对称矩阵。性质1：实对称矩阵的特征值都是实数性质2：实对称属于不同特征值的特征向量正交性质3：若是实对称矩阵A的k重特征值，则与对应的有k个线性无关的特征向量性质4：n阶实对称矩阵正交相似于以特征值为对角的对角矩阵。下面分别证明性质1：实对称矩阵的特征值都是实数设为实对...

2018-10-18 19:14:30 23397 3

原创 Parzen窗法进行无参数估计

在上一篇文章中，我们介绍了两种参数估计的方法。我们知道，参数估计的假设是：类条件概率密度函数的形式是已知的，只是不知道该函数中的某些参数。但是，在实际的工程应用中，大多数情况我们是不知道类的条件概率密度函数的，甚至不知道该函数的形式，那么参数估计也就无从谈起了。因此，需要直接从样本数据出发，得到类条件概率密度函数。一种很自然的想法就是直接用样本的频数代替其概率密度，根据大数定理...

2018-10-14 21:49:37 2876

原创设计贝叶斯分类器的两种参数估计方法：最大似然估计和贝叶斯估计

根据前篇文章我们知道，贝叶斯分类器设计时，需要知道先验概率和类概率密度函数，然后再按照最小错误率或者最小风险标准进行决策。但是，在实际的工程应用中，类概率密度函数往往是未可知的。即使把类概率密度函数近似为正态分布函数，其分布的均值和方差也是未知的。因此，我们需要从已知的有限的样本中，尽可能地估计出类条件概率密度函数的参数，来方便我们设计分类器。换句话说，我们直接从样本出发，已知类概率密...

2018-10-08 11:23:27 3390 3

转载条件期望

张真人第二节课讲Rao-Blackwell 不等式，顺便科普了一下条件期望。自己下来看笔记时发现条件期望是一个很有意思的概念，找了一个比较全面的课间分享给用到或者对条件期望感兴趣的同学。课间第一部分引入条件期望，第二部分通过例子强调了条件期望是一个变量，第三部分证明了条件期望的一些性质，第四部分笔者现在还看不懂。 ...

2018-10-06 16:38:03 4098 5

原创任意n阶矩阵与对角矩阵相似的充要条件是有n个线性无关的特征向量

证明：充分性取n阶矩阵A的特征值，相对应的特征向量线性无关，即有：令，则P非奇异所以等式两边同时左乘可得必要性取n阶矩阵A与对角矩阵相似，则存在非奇异矩阵使等式两边同时左乘P可得即所以因此，P的列向量就是其特征值λi对应的特征向量，由于P非奇异，线性无关。 ...

2018-10-04 09:44:24 17109 1

原创任意n阶矩阵与三角矩阵相似

用归纳法证明：n=1时命题成立假设n=k-1时命题成立证明n=k时命题成立设为k阶矩阵，且Ak∈，它的特征多项式为设为中的k个线性无关的列向量，其中为特征值所对应的特征向量。即记则由于,所以可由线性表出。即于是等式两边同左乘可得有归纳法的假设：n=k-1时命题成立，可得记，则综上，命题得证。由证...

2018-10-03 17:41:17 8687

原创正态分布中的贝叶斯分类方法

在上篇文章中，介绍了贝叶斯决策理论，以及两种比较常用的决策标准。但是，在实际工程应用中，类条件概率密度函数的获取是比较困难的。因此，常常假设类条件概率密度函数服从多元正态分布。本文主要介绍多元正态分布中的贝叶斯分类方法。对于c类问题，以最小错误率的决策标准，可以得到判别函数为令判别函数简化为假设X是n维的待分类特征向量，且服从正态分布，即，则为了方便计算，...

2018-10-01 11:18:52 5806

原创贝叶斯决策中的最小错误率标准和最小风险标准

01 贝叶斯决策理论要解决的问题根据已有数据对新的数据行分类 02 从一个经典的例子说起问题：已知若干条鲈鱼和马哈鱼的长度信息，根于一条未知品种的鱼的长度，判断其是鲈鱼还是马哈鱼。思路：引入随机变量 , ：鲈鱼；：马哈鱼；：鲈鱼的概率;：马哈鱼的概率。；根据已有两种鱼长度 ...

2018-09-27 12:07:58 10139

原创开篇

开学第一周上小波变换，被彭老师一句“手下的几个公司也不大，其中一个销售额刚刚过亿”给镇住了。自嘲做学术不成功的彭老师，颇爱哲学，经常思考问题。而且把自己的所思所想形成文章放在了科学网上（http://blog.sciencenet.cn/u/stone1971111）。后来整理出版为《科研五色石》，对很多科研人员产生了或大或小的影响。见贤思齐，我决定开启自己的博客之旅。重要的决定从来...

2018-09-24 10:06:40 212

weixin_39516246的博客