机器学习
文章平均质量分 78
billy145533
这个作者不懒,但还是什么都没留下…
展开
-
极简谱聚类(spectral clustering)
谱聚类是基于矩阵SVD分解的一种聚类方法,就矩阵分解而言,并没有什么新奇的,但是利用矩阵分解来解决问题的思路值得研究一下 解决的问题实现图的最佳分割 优化目标切割目标,切割成本最小,分割后的数据规模差不多大。通俗的说,就是集群内部,节点联系尽量紧密,群集外部连接越少。 解决过程步骤一建立拉普拉斯矩阵(度矩阵-连接矩阵)这个矩阵第一个巧妙之处在于它的最小特征向量w1∝(1,⋯ ,1)w_1 \propto (1,\cdots,1)w1∝(1,⋯,1),这样后面的特征向量因为wiT原创 2021-01-20 10:33:39 · 455 阅读 · 1 评论 -
Reduce-Rank Regression通俗解释及与其他降维方法的关系
PCA:Var(Xw)RRR:Var(Xw)⋅Corr2(Xw,Yv)⋅Var(Yv)PLS:Var(Xw)⋅Corr2(Xw,Yv)⋅Var(Yv)=Cov2(Xw,Yv)CCA:Var(Xw)⋅Corr2(Xw,Yv)\mathrm{PCA:}\operatorname{Var}(\mathbf{Xw}) \\\mathrm{RRR:}\phantom{\operato...原创 2020-10-24 08:44:44 · 2142 阅读 · 0 评论 -
The Extended Yale Face Database B 转为 Matlab 格式
文章目录前言下载链接提取过程测试前言网上找了一个小的人脸识别数据库,没有找到mat格式的,可以直接用,花了一点时间自己将图像导入matlab里面,顺便将过程分享一下下载链接裁剪后的官网下载链接http://vision.ucsd.edu/extyaleb/CroppedYaleBZip/CroppedYale.zip百度网盘附带mat格式的文件https://pan.baidu.com/s/1QVIWvyuQuMpCtcBeigpLmg提取码:pzjr提取过程将CroppedYale原创 2020-08-21 23:13:42 · 1841 阅读 · 1 评论 -
论文阅读:Axiomatic Characterization of Data-Driven Influence Measures for Classification
个人水平有限,感觉论文写得不太容易理解Axiomatic Characterization of Data-Driven Influence Measures for Classification该论文特征影响力的计算是针对分类的情况,而且感觉是二分类,最重要的是下面这个影响力的计算公式ϕ(x⃗,X,c)=∑y⃗∈X\x⃗(y⃗−x⃗)α(∥y⃗−x⃗∥)l(c(x⃗)=c(y⃗))\phi(\vec{x}, \mathcal{X}, c)=\sum_{\vec{y} \in \mathcal{X}原创 2020-08-02 13:51:40 · 170 阅读 · 0 评论 -
最小二乘法的对偶形式(CVX)
文章目录数据生成部分第一种形式第二种形式第三种形式第四种形式第五种形式参考最小二乘法的表示形式很多,其对偶形式也很多。这里学习了CVX官网的例子,求解最小二乘法的几种形式,这里进行简单的分析,看看是怎么得到的。数据生成部分randn('state',0);n = 4;m = 2*n;A = randn(m,n);b = randn(m,1);p = 2;q = p/(p-1);第一种形式cvx_begin quiet variable x(n) minimize (原创 2020-06-24 23:33:55 · 1565 阅读 · 0 评论 -
Android OpenCV 3.2 SVM 调用
最近在android下,玩OpenCV,使用起来很简单。目标:手写数字,使用SVM进行分类代码主要来自下面这个项目:github.com/wblgers/OpenCV_Android_Plus/tree/master/这个代码是在真机上,利用JNI方式,以载入so文件的方式调用Opencv,而我用的是OpenCV Manager的方式调用,并且大家用的OpenCV的版本不同,调用的形式也不一样。首先, 在著名Mnist数据集上训练,得到mnist.xml模型,保存为 res/raw/mnist.原创 2020-05-16 09:15:46 · 413 阅读 · 0 评论 -
隐马尔可夫模型与语音识别
文章目录前言马尔可夫链隐马尔可夫HMM中的语音识别(孤立词)HMM 语音识别过程参考文献前言隐马尔科夫链结合语言识别,在细节上,涉及到的知识挺多,没有一定的时间投入难以很好的去把握。这篇文章只想借着自己的一小段时间学习,从整体上,理一下HMM在ASR的应用过程,不想去探究其中的具体细节。文中的图片基本截取自参考文献中的内容。# 隐马尔可夫(HMM)马尔可夫链马尔可夫链描述了当前状态与...原创 2020-02-19 22:05:30 · 6273 阅读 · 0 评论 -
图解 Expectation Maximization 期望最大化 与应用例子
文章目录前言介绍似然函数Jensen不等式EM 算法参考文献前言 网上对EM算法介绍已经很详尽,但是没看到比较详细的案例,理解起来有一些抽象。本文对EM的算法做一些总结,重点是介绍EM的案例,使得对该算法有一个直观的理解。介绍EM算法主要是针对存在隐变量的问题,即数据不完整的条件下去做参数估计。与之相反,当数据完整的时候,我们采用最大似然法就能解决问题。似然函数L(θ)=∏p(x1...原创 2020-02-16 15:24:55 · 300 阅读 · 0 评论 -
Generalized Linear Models参数的方差估计
文章目录前言Generalized Linear Models定义GLM参考文献前言 一直仅关注于正态分布,最近看文献,持续看到Generalized Linear Models,其中的定义,看了觉得有些生疏,于是找几篇文献读读,将这些知识串起来。Generalized Linear ModelsGLM是对线性模型的一种抽象,将正态,二项,泊松等分布结合到一个模型。具体操作的步...原创 2020-01-05 22:04:33 · 556 阅读 · 0 评论 -
Definition of Spline Basis Function
文章目录背景Spline Basis Function代码参考福利背景最近在研究functional 回归,发现有一些smoothing信号处理方法,跟我以前的一些肤浅的想法居然有一些共性,看来不是想不到,而是不敢想,想得不够深入的问题。这种算法提出已经比较久了,其中比较流行的一种平滑处理算法是基于B-spline。样条插值,作为一种插值或者函数逼近,无论是做图形图像还是数值分析,老早就接触过...原创 2019-12-29 17:35:25 · 744 阅读 · 0 评论 -
线性最小二乘法的系数方差估计
线性模型y=Xβ+ϵy = X \beta+\epsilon y=Xβ+ϵϵ\epsilonϵ假定为白噪声,方差为σ2\sigma^2σ2,y,Xy,Xy,X已经中心化最小二乘法的解为β^=(XTX)XTy=X+y\hat{\beta} = (X^TX)X^Ty = X^{+}yβ^=(XTX)XTy=X+y无偏估量性质E(β^)=E(X+y)=E(X+(Xβ+ϵ))=E(β...原创 2019-11-28 22:44:56 · 7111 阅读 · 2 评论 -
维纳滤波及其简单实现
文章目录介绍基本概念简单实现过程matlab实现结果小结介绍随机信号包括了确定信号和随机噪声两部分。维纳滤波的本质是设计一组冲击响应的函数,抑制信号中的随机噪声部分,或者说非预期信号部分,使得信号与预期值的均方误差达到最小。基本概念在开始维纳滤波的介绍前,先描述一下几个基本的概念以下只给出离散过程的公式自相关函数为了描述随机变量X(n),X(n+t),在不同时刻下的相互联系,引入了...原创 2019-10-31 19:51:50 · 5403 阅读 · 4 评论 -
四参数拟合之C代码(基于GSL)
文章目录前言过程代码结果前言前面已经通过3篇介绍了关于四参数拟合算法,主要用到拟牛顿和LMF方法,都是用matlab实现的。本想用C自己实现一遍,一想到其中涉及不少的矩阵运算,考虑到用C实现的工作量,立马打退堂鼓。几年前用过GSL,感觉调用它的线性代数运算还是挺方便的,于是果断去网上找GSL。目前,GSL已经更新到2.6,它真是一个宝库,里面居然已经包含了LMF算法。尽管在编码,让人觉得有些诡...原创 2019-10-17 11:27:42 · 2470 阅读 · 2 评论 -
四参数拟合之LMF法(无约束)
文章目录前言LM 算法Matlab代码前言 写到这里,已经发现了前面两篇文章的重大bug。那就是牛顿法也好,LM法也好,都是针对无约束的问题,而四参数拟合问题是一个有约束的问题,参数一般设置为0到正无穷。这也解释了为何之前的计算结果,总是和L4P的结果不同。根本原因在于完全没搞懂四参数拟合的参数意义。所以这篇重点介绍LM算法,四参数拟合结果仍然有问题 事到如今,将错就错, 把Levenber...原创 2019-10-13 20:36:27 · 2317 阅读 · 0 评论 -
四参数拟合算法之高斯牛顿法
文章目录介绍牛顿法Matlab Code介绍 前面提到了牛顿法,那其实相当于求根的算法。跟一般最小二乘法的区别是,它并没有显示的最小二乘目标式子。F(A,B,C,D,xi)=0F(A,B,C,D,x_i) = 0F(A,B,C,D,xi)=0 下面提到的高斯牛顿法,则要正式引入最小二乘法的目标式子。首先对牛顿法做一次更深入的展开。牛顿法 牛顿法在用于一元方程求根的时候,只需要做一阶泰...原创 2019-10-12 20:12:08 · 2288 阅读 · 7 评论 -
深入理解PCA原理
基于之前谈的SVD,说一下PCA的原理.PCA主要的作用是用于降维的,目前降维方法很多,PCA只是比较古老经典的一种。令样本空间(假设已经中心化)为 ,x属于n维的行向量,每行代表一个样本PCA的思路是找到一组正交基(v1,...vr),r&...原创 2019-05-15 20:20:32 · 568 阅读 · 0 评论 -
总算理解了SVM的对偶问题
机器学习中,许多优化算法可以归结为凸优化问题,像正则化。我觉得SVM可以说是凸优化的一个非常优秀的应用。随着机器学习的深入,慢慢去推导各种机器学习的算法,在推导SVM的算法过程并不顺利,最先就卡在SVM的对偶上,从推导公式上觉得并没有问题,可总觉得抽象晦涩,没有直观的感觉。为此,找了许多关于SVM的资料,仍然如此,最后只得去快速刷一遍凸优化,总算理解了这个问题。首先,我们来看一下SVM优化目标...原创 2019-06-25 23:26:52 · 612 阅读 · 0 评论 -
为何QR分解收敛于特征值
QR分解求特征值的方法很简单,计算过程如下:QR本身可以看作一个将矩阵A转化为上三角矩阵R的过程,通过householder,givens转换等手段,构造一系列的变换矩阵T,将矩阵转换为上三角矩阵R,而变换矩阵的逆矩阵则构成了Q。一定条件下,经过n次迭代后,迭代矩阵An会神奇的收敛成一个上三角矩阵,其对角阵对应的元素就是An的特征值,也是原始矩阵A的特征值,是不是很神奇。那么为什么会...原创 2019-09-01 15:17:58 · 3683 阅读 · 0 评论 -
四参数拟合算法之牛顿法
背景 :因为工作需要用C/C++实现四参数拟合算法,在网上搜了一圈,没找到合适的现成代码,就是现成其他语言的代码,也没有找到完整实现的,效果最好的要数L4P 的matlab代码,可惜它最终调用的fit函数是matlab内置的,看不到具体实现,大概是采用拟牛顿一类的算法,总之,最后都想到去C++数值算法中找,也无功而返,没办法,只能自己实现了。这里节省时间,只是用matlab验证。目标 :给...原创 2019-10-11 16:59:25 · 7620 阅读 · 4 评论 -
SVD通俗解析
1.特征分解 对于方阵A(n×n)而言,假若A存在n个特征向量线性无关,也就是满足可对角化的条件那么有 其中,W是这n个特征向量所张成的n×n维矩阵,而Σ为这n个特征值构成的对角矩阵 假如A为对称矩阵,则A可以表示为...原创 2019-05-09 11:48:01 · 1169 阅读 · 0 评论