机器学习
文章平均质量分 93
Bear_Kai
西北工业大学,模式识别
展开
-
Rethinking:分类&回归
前言一般说到多分类问题,我们很自然地会采用softmax交叉熵损失,而谈到回归问题,我们可能会选择MSE这样的损失。但有一天,我们也许想知道二者之间是否真的就泾渭分明,能否把交叉熵损失用于回归任务,或者把MSE损失用于分类任务呢。这么想不是没有道理的,毕竟我们可以把多分类问题,看做是离散的回归问题,或者把回归问题,看做是无穷多类别下的分类问题。讨论1模型输出的logits,经过softmax...原创 2020-04-01 16:28:00 · 491 阅读 · 0 评论 -
非负矩阵分解(NMF)论文笔记(3)
记录NMF的一些变体。 数据矩阵X : d*n,分解因子——基 F : d*r, 表达G:n*r1. NMF: 输入数据非负,并约束分解因子非负,即 X+≈F+G+" role="presentation" style="position: relative;">X+≈F+G+X+≈F+G+X_+\approx F_+G_+,F的列可以看做是新空间中的基,G的行可以看做是原创 2017-07-05 12:56:46 · 2751 阅读 · 0 评论 -
非负矩阵分解(NMF)论文笔记(2)
记NMF经典论文:Learning the Parts of Objects by Non-negative Matrix Factorization, Nature 1999.对整体的感知是否基于对局部的感知?在心理和生理学上有研究表明,人脑中存在基于局部的表达机制,目标识别中的一些计算理论也依赖于这种假设,但是我们并不清楚人脑或者计算机到底是如何来学习这样一种局部表达的。这篇文章介绍的原创 2017-07-05 12:43:54 · 1974 阅读 · 0 评论 -
非负矩阵分解(NMF)论文笔记(1)
NMF经典论文:Algorithms for Non-negative Matrix Factorization(NIPS, 2001),此文主讲算法细节偏理论。 (话说怎么去掉图片默认水印,有点影响视觉效果。)1.引言NMF要做的,就是给定一个非负矩阵V∈R+d×n" role="presentation" style="position: relative原创 2017-06-20 15:20:36 · 9753 阅读 · 4 评论 -
降维--深入理解PCA
1 引言主成分分析(Principal Component Analysis, PCA)是一种经典又常用的数据降维算法(注意这里的降维是指特征提取 ,线性时或称子空间学习,还有一支叫特征选择,有兴趣可参这篇博客),它的主要思想是寻找数据分布方差最大的投影方向,初次听好像也不太好理解,那就上个图瞧瞧咯。 图1 如图1标注出了信号和噪音的方差方向。我们找数据变化大的方向,变化大则含信息量大,原创 2017-04-10 09:52:54 · 2616 阅读 · 0 评论 -
聚类--谱聚类
前言:关于谱聚类,已经有很多厉害的老师和大牛写过教程博客等,也有很不错的tutorial文章可供参考。此博文仅记述个人的一些总结、思考、困惑,算是对现有谱聚类学习资源的一个小补充。1. 谱聚类简述说到聚类,可能最先想到的就是经典的Kmeans算法。但是,Kmeans的应用是有前提条件的,它假设(目标式中的)误差服从标准正态分布,因此,Kmeans在处理非标准正态分布和非均匀样本集时,聚类效果会比较差原创 2017-04-06 11:04:21 · 4616 阅读 · 2 评论 -
深入理解PCA+Kmeans+NMF+谱聚类
本文对这几种算法进行统一分析和归纳。1. PCA与Kmeans降维–主成分分析(PCA)–第4.1节2. 谱聚类与Kmeans聚类–谱聚类–第5节kmeans假设数据服从高斯分布,所以对于非高斯分布的数据性能表现可能不好,这个时候我们可以利用核方法扩展,得到kernel kmeans,相当于把原始d维数据投影到一个高维核空间中再进行kmeans聚类。本质上,谱聚类也是干了这么一件事儿,相似度矩阵W就原创 2017-12-10 21:05:29 · 6273 阅读 · 4 评论 -
常用图像数据集资源收集
1. 常用图像数据集大全2. 机器学习相关数据库3…原创 2017-12-01 21:40:44 · 2046 阅读 · 0 评论 -
谱旋转--spectral rotation
谱聚类算法分两步进行,第一步可以看做是把原始数据投影到一个新的(低维)空间,第二步在新的空间中对数据进行处理得到最终聚类结果。第二步常采用的方法有Kmeans,这里介绍另外一种方式:谱旋转(spectral rotation)。关于谱聚类的详细介绍可参见这篇博客。谱聚类第一步中求解的目标式可表述为: minF∈Rn×kTr(FTLF)s.t.FTF=Ik.\begin{equation}\min原创 2017-11-20 20:04:41 · 2572 阅读 · 0 评论 -
sklearn交叉验证
摘录官网上一些容易混淆的概念、函数介绍。1. Cross-validation: Evaluating estimator performanceWhen evaluating different settings (“hyperparameters”) for estimators, such as the C setting that must be manually set for an SV原创 2017-10-26 20:38:06 · 2110 阅读 · 1 评论 -
Self-paced Learning 自步学习
在刚结束的IJCAI-17上了解到自步学习,觉得蛮有意思,它的思想很简单,然后用简洁的数学式子来表达这种思想感觉很棒。以下内容转自Longfei Han主页。1. 自步学习现有机器学习方法都需要解决非凸优化问题,例如学习感知机或深度置信网,传统的优化方法在避免非凸优化问题陷入较差局部解时,往往采用多次随机初始化方式训练模型,然后选择其中效果最好的初始化结果构建模型。然而这种方法过于adhoc,而且计转载 2017-09-01 11:35:52 · 19462 阅读 · 3 评论 -
Label Encoding & One-Hot Encoding
Label encoding在某些情况下很有用,但是场景限制很多。比如有一列 [dog,cat,dog,mouse,cat],我们把其转换为[1,2,1,3,2]。这里就产生了一个奇怪的现象:dog和mouse的平均值是cat。而且像decision tree,random forest和xgboost这种算法能处理好这种转换,而且相比转换前,所需要的内存空间小一点。One-Hot 编码即独热编码,转载 2017-08-30 22:50:07 · 4907 阅读 · 0 评论 -
基于正则化的特征选择
此文谨为方便自己后续写作,有更深层需求的读者请参阅相关原始paper。1、特征选择简述降维,有时也可称为子空间学习,可以大致分为特征选择(feature selection)和特征提取(feature extraction)两大类,我们常说的主成分分析(PCA)、线性判别分析(LDA)、流形学习的代表—-局部线性嵌入(LLE)等,都是属于后者。特征提取,通常是将原始数据投影到一个新的空间,对于线性方原创 2017-05-08 16:04:28 · 6712 阅读 · 1 评论