![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
沙漠之狐MSFollower
在读博士生,研究方向包括多模态智能、机器学习、图学习、自然语言处理。期待与有共同爱好的同学一起发现信息化世界的美好。
展开
-
多任务联合训练,出现Nan的问题
关于pytorch多任务训练loss=nan的问题原创 2022-09-13 23:03:13 · 762 阅读 · 0 评论 -
核主成分分析方法(KPCA原理篇)
(1)方法的基本思想是:对样本进行非线性变换,在变换空间进行主成分分析来实现在原空间的非线性主成分分析;(2)算法步骤:① 通过核函数计算矩阵,其元素为。其中和为原空间的样本,是核函数。② 计算K的特征值,并从大到小进行排列。找出由特征值对应的特征向量(表示第个特征向量),并对进行归一化()。③ 原始样本在第个非主成分下的坐标为: 这里的是指第i个样本,的...原创 2020-10-07 21:03:58 · 6048 阅读 · 0 评论 -
K-L变换
(一)K-L变换的基本原理① 对D维随机向量,用一个完备的正交归一向量系来展开: 将x表示成的线性组合,其中: ② 当只有有限的d项来逼近x,即。则与原向量的均方误差表示为: 若记,则e可以写成下式: ...原创 2020-10-07 20:37:53 · 2928 阅读 · 0 评论 -
主成分分析方法PCA(二)
特征选择的目的:①:降低特征空间的维度,使后续的分类器设计在计算上更容易实现;②:为了消除特征之间可能存在的相关性,减少特征中与分类无关的信息,使新特征更有利于分类。主成分分析方法:(1)算法的出发点是从一组特征中计算出一组按重要性从大到小排列的新特征,它们是原有特征的线性组合,并且相互之间是不相关的。(2)算法实现思路:①记为p个原始特征,设新特征是这些原始特征的线性组合: ...原创 2020-10-07 18:36:42 · 348 阅读 · 0 评论 -
神经网络应用过程中的tips
神经网络在训练过程中,会遇到这样或那样的问题。本文对部分问题进行简单的分析与介绍,并尽量提出解决方案,帮助大家共同学习。原创 2020-09-13 23:13:09 · 170 阅读 · 0 评论 -
Parzen窗法介绍
① 假设原创 2020-09-13 22:07:20 · 5854 阅读 · 0 评论 -
近邻法简介
在机器学习中,常用的近邻法包括近邻法、最近邻法、K-近邻法、剪辑近邻法、以及压缩近邻法。本篇文章,我们将对这几种方法进行介绍。原创 2020-10-07 11:11:49 · 4521 阅读 · 0 评论 -
贝叶斯估计
更新中原创 2020-09-12 13:41:46 · 5592 阅读 · 0 评论 -
最大似然估计
更新中原创 2020-09-11 23:36:18 · 15117 阅读 · 2 评论 -
贝叶斯决策问题
一、最小错误率贝叶斯决策: 从最小错误率的要求出发,利用概率论重的贝叶斯公式,得出使错误率最小的分类决策,这就称之为最小错误率贝叶斯决策。使错误率最小的决策就是使后验概率最大的决策。可以表示为如下的几种形式: ①若,则; ②若,则; ③若,则; ④若,则;二、最小风险贝叶斯决策: 同样,在处理事务进行选择的过程中,将风险降到最小的决策就是最小风险贝叶斯决策。对样本x,最小风险贝叶斯决策可以按照以下步骤进行计算: ...原创 2020-09-10 23:35:03 · 1136 阅读 · 0 评论 -
图神经网络中的谱变换
(1)图G的拉普拉斯矩阵设为L,由于其是一个实对称矩阵,故可以被正交对角化,即(其中V是L的n个特征向量构造的正交特征矩阵,是V中特征向量对应的特征值)。(2)对于任意一个在图G上的信号x,其傅里叶变换为,这里将特征矩阵V称为傅里叶基,而是在傅里叶基上的傅里叶系数。(3)由于V是一个正交矩阵,对上面(2)中的左乘V,则有,该过程称为傅里叶逆变换。(4)在图信号处理中,我们将图滤波器定义为将图信号的频谱中各个频率分量的强度进行增强或者衰减。设图滤波器为H,输出信号为y,则: ...原创 2020-07-17 00:37:29 · 955 阅读 · 0 评论 -
MFCC算法的实现过程(原理篇)
前期,博客中已经贴出了MFCC算法的C++代码实现。本篇文章中,我将主要介绍该算法的原理。原创 2020-04-04 18:58:11 · 4902 阅读 · 0 评论 -
Word2Vec训练过程中的加速问题
学习ML/NLP的童鞋们都知道,word2vec是NLP的一个重要应用。Word2Vec是谷歌开源的一个将语言中字词转化为向量形式表达的工具。它通过在大数据量上进行高效训练而得到词向量,使用词向量可以很好地度量词与词之间的相似性。Word2Vec采用的模型包含了连续词袋模型Continuous Bag of Words(简称:CBOW)和Skip-Gram模型,其中CBOW是从原始语...原创 2019-06-23 22:05:29 · 3480 阅读 · 0 评论 -
支持向量机与核函数
(1)支持向量机是通过引入特征变换来将原空间的非线性问题转化为新空间中的线性问题。(2)在前面的博文中,我们得到结论,支持向量机的决策规则为: ①如果我们对样本特征x进行非线性变换,记新特征为,则在新特征空间里构建的支持向量机的决策函数为: ...原创 2019-05-21 22:21:21 · 545 阅读 · 0 评论 -
支持向量机(二)
之前的博文中,我们讨论了线性支持向量机。这里,我们讨论非线性的情况。(1)样本集线性不可分,是说对于样本集,其中,不等式不可能被所有样本同时满足。(2)当(1)中的问题存在时,即称为非线性可分。我们总可以在不等式的左侧加上一个正数(我们称该数为松弛因子),使得不等式成立。如果样本被正确分类,即,则;如果样本不能被正确分类,则这个样本对应的,则。(3)我们在(2)的条件下重新设计支持...原创 2019-05-21 21:20:15 · 326 阅读 · 0 评论 -
Fisher线性判别分析
(1)高维特征的两类线性判别问题可以看作是把所有样本都投影到一个方向上,然后在这个一维样本空间中确定一个分类的阈值。过这个阈值点且与投影方向垂直的超平面就是两类的分类面。(2)由(1),我们可知,所谓分类就是要寻找一个投影方向w(),使原始空间中的样本投影之后变成。我们以两类分类为例,即:使用表示第i类样本,表示第i类样本的均值,表示第i类的样本数量。 ①则原始空间中的第i类样本均值计算...原创 2019-05-20 23:26:41 · 2752 阅读 · 3 评论 -
SVM简介及简单推导
(1)最优超平面的定义:一个超平面,如果它能够将训练样本正确地分开,并且两类训练样本中离超平面最近的样本与超平面之间的距离最大,则这个超平面被称作最优超平面。其中,样本中离分类面最近的样本到分类超平面的距离被称作分类间隔。(2)对于超平面H:g(x)=wx+b=0。求取任意点x到该平面的距离:将该点表示成向量x,则有x=x'+r*w/||w||。式中x'是x在H上的投影向量;r是x到H的垂直距...原创 2019-05-19 23:36:56 · 527 阅读 · 0 评论 -
线性回归、梯度下降(Linear Regression、Gradient Descent)
转自:http://www.cnblogs.com/BYRans/参考:http://blog.csdn.net/woxincd/article/details/7040944实例 首先举个例子,假设我们有一个二手房交易记录的数据集,已知房屋面积、卧室数量和房屋的交易价格,如下表: 假如有一个房子要卖,我们希望通过上表中的数据估算这个房子的价格。这个问题就是典型的转载 2017-05-07 09:11:59 · 686 阅读 · 0 评论 -
EM算法 实例讲解
转自:http://blog.csdn.net/u011300443/article/details/46763743 第一次接触EM算法,是在完成半隐马尔科夫算法大作业时。我先在网上下载了两份Baum-Welch算法的代码,通过复制粘贴,修修补补,用java实现了HMM算法(应用是韦小宝掷两种骰子的问题)。然后,参考有关半隐马尔科夫算法的论文,照着论文中的公式修改隐马尔科夫算法,转载 2017-05-06 08:35:43 · 1136 阅读 · 1 评论 -
高斯混合模型(GMM)原理
参考:http://www.cnblogs.com/CBDoctor/archive/2011/11/06/2236286.htmlhttp://blog.sina.com.cn/s/blog_54d460e40101ec00.htmlhttp://blog.csdn.net/crzy_sparrow/article/details/7413019原创 2017-06-10 10:26:02 · 2324 阅读 · 0 评论 -
AdaBoost算法笔记
参考:李航老师《统计学习方法》原创 2017-06-10 21:01:05 · 463 阅读 · 0 评论 -
机器学习中的Logistics逻辑回归分析
逻辑回归(Logistic Regression, LR)又称为逻辑回归分析,是分类和预测算法中的一种。通过历史数据的表现对未来结果发生的概率进行预测。 <一>我们首先讨论二分类的情况: 设有线性拟合方法(这里为样本x的向量化表示): ...原创 2017-10-19 17:44:49 · 1026 阅读 · 0 评论 -
主成分分析PCA(一)
1.多重共线性--预测变量之间相互关联。多重共线性会导致解空间的不稳定,从而可能导致结果的不连贯。2.高维空间本身具有稀疏性。一维正态分布有68%的值落于正负标准差之间,而在十维空间上只有0.02%。3.过多的变量会妨碍查找规律的原创 2017-01-29 10:54:15 · 725 阅读 · 0 评论 -
语音识别中的DTW算法问题
之前处理语音信息的时候,在网上找过相关资料,但是质量良莠不齐。这里,把自己以前写过的DTW算法与大家分享。理论知识,大家可以参考:https://www.cnblogs.com/flypiggy/p/3603192.html,https://www.cnblogs.com/flypiggy/p/3603192.html#ifndef DTW_H#define DTW_H#...原创 2018-08-15 10:37:39 · 706 阅读 · 0 评论 -
生成模型与判别模型
参考文献:https://blog.csdn.net/u012101561/article/details/52814571生成模型特点:生成模型估计的是联合概率分布,p(y, x)=p(y|x)*p(x),由数据学习联合概率密度分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:P(Y|X)= P(X,Y)/ P(X)。基本思想是首先建立样本的联合概率概率密度模...原创 2018-10-20 23:07:12 · 177 阅读 · 0 评论 -
在数据预处理中,如何填充缺失值?如何判断异常值?
缺失值的处理:(1) 删除缺失值;(2) 填补缺失值: <1>均值法填补 根据缺失值的属性相关系数最大的那个属性把数据分成几个组,然后分别计算每个组的均值,把这些均值放入到缺失的数值里面就可以了。 <2>最近距离决定填补法 假设现在为时间y,前一段时间为时间x,然后根据x的值去把y的值填补好。如何判...原创 2018-11-09 21:25:45 · 2323 阅读 · 0 评论 -
K-means聚类
K-means是一种常见的无监督分类器。其主要思想是:1)假设有n个样本,选出k个样本,作为初始质心;2)计算剩下n-k个样本分别距离k个质心的距离,每个样本将属于距离最近的那个质心所在的类;3)这样对n个样本进行了简单的分类,得到了k个类。分别计算每个类的样本均值,并作为每个类新的质心。4)重复2)和3),直到类的质心收敛。K-means聚类时间复杂度分析:方法的时间复杂...原创 2018-11-02 11:01:28 · 585 阅读 · 0 评论 -
决策树
今天抽空补充一下决策树的相关知识:决策树的种类及区别:决策树以自顶向下递归的分治方式进行构造。从训练元组集和它们相关联的类标号开始构建决策树。随着树的构建,训练集递归地划分成较小的子集。ID3:使用信息增益作为属性选择度量(偏向于选择具有大量值的属性)。C4.5:选择具有最大增益率的属性作为分裂属性。增益率=属性增益/总增益CART:使用基尼指数作为属性度量。熵:我们首...原创 2018-11-02 15:58:27 · 467 阅读 · 0 评论 -
Bagging和Boosting
Bagging:Bagging基于自助采样法。给定包含m个样本的数据集,先随机取出一个样本放入采样集中,再把该样本放回初始数据集,使得下次采样时该样本仍有可能被选中。这样,经过m次随机采样操作,我们得到含m个样本的采样集,初始训练集中有的样本再采样集里多次出现,有的则从未出现。 采样出T个含有m个训练样本的采样集,然后基于每个采样集训练出一个基学习器,再将这些基本学习器进行结合。 Ba...原创 2018-11-02 16:05:53 · 382 阅读 · 0 评论 -
转:张量分解(一):基础知识
[原地址]https://blog.csdn.net/Flying_sfeng/article/details/80817904前段时间在组里分享了张量分解相关的知识,现在想把它整理成一个系列,供有需要的同学阅读。 下文根据Tensor Decompositions and Applications∗ 整理,原文比较长,我主要整理了一些比较常用的,有需要的同学可以直接阅读原文。 我们知道,...转载 2018-12-14 14:01:43 · 1304 阅读 · 0 评论 -
转: 张量分解 二
张量介绍张量(tensor)是一个多维的数据存储形式,数据的的维度被称为张量的阶。它可以看成是向量和矩阵在多维空间中的推广,向量可以看成是一维张量,矩阵可以看成是两维的张量。下面是一个三阶张量的例子,它有三维即3个mode值得注意的是这里说的张量是一个具有某种排列形式的数据的集合,它和物理中的张量场是不同的。传统的方法(例如ICA,PCA...转载 2018-12-14 22:47:38 · 884 阅读 · 0 评论 -
核主成分分析KPCA分析
之前转载了一篇博客,介绍了KPCA的推导,作者主要是参考、翻译了另一篇博客http://zhanxw.com/blog/2011/02/kernel-pca-原理和演示/,这里讲KPCA的整个过程很详细,还有R实现的代码,很不错!建议保存下来看,这个网站有时候上不去。 理论明白了,如果想在matlab里实现KPCA或者真正去用它,可以参考如下两个代码: 博客http://blo转载 2017-01-29 11:24:20 · 14134 阅读 · 3 评论