![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
读论文
文章平均质量分 90
InceptionZ
这个作者很懒,什么都没留下…
展开
-
论文解读:Field-aware Factorization Machines for CTR Prediction(FFMs)
文章目录摘要1. Introduction2. POLY2 AND FM3. FFM3.1 Solving the Optimization Problem3.2 Parallelization on Shared-memory Systems3.3 Adding Field Information4. Experiments4.1 Experiments settings4.2 Impact of Parameters4.3 Early Stopping4.4 SpeedupFFM模型时FM模型的变原创 2021-01-27 15:22:36 · 479 阅读 · 0 评论 -
论文解读:Recent Advances in Autoencoder-Based Representation Learning(Regularization-based methods)
文章目录写在前面Abstract3. Regularization-based methods3.1 Unsupervised methods targeting disentanglement and independence写在前面这篇文章讲的是基于自编码器的表示学习的综述文章,这篇博客主要介绍基于正则化的方法(Regularization-based methods)去实现disentanglementAbstract翻译:使用半监督或者无监督方法进行表示学习是人工智能领域的一个关键挑战。我原创 2021-01-25 19:55:10 · 563 阅读 · 0 评论 -
论文解读:Factorization Machine(FM)
文章目录概述摘要1 Introduction2. Prediction under sparisity3. Factorization Machine(FM)Summary概述一种解决大规模稀疏数据下的特征组合问题的机器学习模型,它在工业界有一些很常用的应用场景。推荐系统: 比如一个电商(某宝),它有100w种商品,每一个用户有一个账户,平台可以给用户推荐相应的产品。由于每个用户真实购买的商品非常少,不可能把所有商品都买一遍或者浏览一遍(土豪除外),那么用户对产品是否喜好的这个样本数据就会非常稀疏原创 2021-01-23 15:49:38 · 571 阅读 · 0 评论 -
论文解读:LightGBM——A Highly Efficient Gradient Boosting Decision Tree
摘要GBDT是个非常流行的机器学习算法,有几个非常有效的应用实现,例如XGBoost合pGBRT。尽管这些应用算法应用来了很多工程优化技术,但是当特征维度特别大,数据量特别多时,这些算法还是不够高效。一个主要原因是:对于每一个特征,他们需要遍历所有数据去估计所有分裂点的信息增益,这会非常耗时。为了解决这个问题,我们提出了两种技术:GOSS(单边梯度采样)和EFB(互斥特征绑定)。对于GOSS,我们留下梯度较大的数据样本,而对梯度较小的样本进行随机采样,并加上权重补偿损失。论文也证明梯度较大的样本对计算信息原创 2021-01-20 21:29:31 · 1383 阅读 · 0 评论 -
K-AUTOENCODERS DEEP CLUSTERING(K-DAE,2020 IEEE)
写在前面这是一篇准备发表在IEEE上的文章(应该现在还没发表),2020.05已经发表在了ArXiv上了,是一篇关于深度聚类的文章,文章的思想很简单。摘要在这项研究中,我们提出了一种深度聚类算法,它是k-means算法的一种扩展。每个聚类由自动编码器表示,而不是由单个质心向量表示(传统K-means使用的方法)。每个数据点与产生最小重建误差的自动编码器相关联。通过学习一组最小化全局重构均方误差损失的自动编码器来找到最优聚类。网络结构异常简单明了。该方法在标准图像语料库上进行了评估,其性能与基原创 2020-07-16 16:51:08 · 444 阅读 · 0 评论 -
Deep Clustering by Gaussian Mixture Variational Autoencoders with Graph Embedding(DGG,2019 ICCV)
文章目录写在前面摘要1. 介绍2. 相关工作3. DGG3.1 深度高斯混合模型(Deep GMM)3.2 图嵌入的VAE3.2.1 学习算法3.3 构建邻接矩阵4. 实验5. 结论写在前面这个论文讲聚类的准确率拉到一个非常高的值,所以,我们重点看一下方法,该论文的实验部分非常难,不重点讲摘要为了解决聚类,将GMM应用再VAE的先验上;为了解决复杂扩散的数据问题,应用了图嵌入。论文的想法是,捕获局部数据结构的图信息是对深度GMM的极好补充,将deep GMM和Graph Embedding结合起来原创 2020-07-14 11:32:39 · 1238 阅读 · 1 评论 -
基于VAEs和GMM的深度聚类模型总结
写在前面这几天看的深度聚类文章也不少了,在这里重点总结一下聚类的原理1. 基础知识1.1 GMM高斯混合模型1.1.1 GMM概要GMM算是比较基础的传统聚类模型,模型优化的方法是EM算法。GMM假设数据的分布是由多个高斯分布混合而成,我们要做的就是解出GMM模型的参数,包括每个component的均值和方差还有各个高斯分布的权重。为了求解GMM,我们引入了隐变量,并假设数据的生成过程是:(1)以某概率从高斯混合模型中选择一个高斯分布(2)从该高斯分布中产生数据请重点理解上面数据生成的过程原创 2020-07-10 17:00:12 · 2523 阅读 · 0 评论 -
Deep Unsupervised Clustering Using Mixture of Autoencoders(MIXAE)
文章目录写在前面0. 摘要1. 介绍2. 相关工作3. 用MIXAE来聚类3.1 自编码器3.2 MIXAE模型4. 实验4.1 评估指标4.2 MIXAE不如VaDE4.3 展示聚类效果5. 回答如何聚类写在前面这篇文章发布于2017年Arxiv,并没有正式得发出去。写了这么多关于聚类得文章,我发现以前没有把注意力转移到聚类得原理上面,深入剖析聚类得内部原理,所以从这篇文章开始,我将围绕“如何聚类“来展开文章。0. 摘要1.说呀,现在在聚类领域有个很流行的假设:数据是从一个低维的非线性流型单元中原创 2020-06-30 17:04:02 · 403 阅读 · 0 评论 -
Unsupervised Deep Embedding for Clustering Analysis(DEC)
0. 写在前面这篇文章发表在2016年,算是比较早的文章,但很值得去看,算法深度无监督聚类的一个经典文章,本博客从模型、LOSS来讲,实验部分不着重讲。1. 摘要摘要部分,作者主要告诉我们DEC模型的聚类不是从数据本身来聚类,而是学习到数据到隐空间的映射,然后设置了聚类优化目标来学习隐空间的聚类,该模型不是生成模型,类似于K-means,选取了聚类中心,然后让数据自动逼近自己所属的聚类中心。2. 介绍这部分主要讲明该模型的三大贡献(a)深度嵌入和聚类的联合优化;(b)通过软分配进行新颖的原创 2020-06-25 12:19:42 · 2883 阅读 · 1 评论 -
Variational Deep Embedding: An Unsupervised and Generative Approach to Clustering(VaDE)
0. 写在前面本篇文章也是关于VAE的深度无监督聚类算法VaDE,主要从它的模型、Loss、优化方法去讲、最后会简单提及实验部分,并且与之前的GMVAE作比较。1. Abstract提出VaDE模型,它是深度无监督聚类生成模型,结合了VAE和GMM。指出数据的生成过程:1.从GMM分布中选择一个簇2.从这个簇中产生一个隐变量z3.解码该隐变量z生成观测数据提出用SVGB优化方法实验效果很好1. Introduction(介绍)这一部分一般是概要性的引出作者提出的模型,我们直接上原创 2020-06-24 16:21:18 · 2163 阅读 · 1 评论 -
DEEP UNSUPERVISED CLUSTERING WITH GAUSSIAN MIXTURE VARIATIONAL AUTOENCODERS(GMVAE,ICLR2017)
写在前面这篇文章是讲如何用VAE来进行无监督的聚类的,属于VAE的变种,同时这篇文章也多多少少存在一些问题,会在文章末尾指出,现在一起来看看这篇文章到底在讲什么。摘要读完摘要,我们肯定会有很多问题:1.什么是over-regularisation,为什么它会导致cluster degeneracy?2.什么是minimum information constraint,它为什么可以解决over-regularisation?我们带着问题,继续深入解读这篇文章。1. Introduction原创 2020-06-14 19:18:10 · 2035 阅读 · 3 评论 -
对抗生成网络GANs的见解(三)
写在前面本文主要介绍GANs的训练技巧GANs的训练技巧原创 2020-05-30 09:48:58 · 127 阅读 · 0 评论 -
对抗生成网络GANs的一些见解(二)
文章目录写在前面1. GANs产生清晰图像的原因是什么?2. GANs中的单侧标签平滑(one-sided label smoothing)2.1 为什么GANs需要单侧标签平滑2.2 具体怎么实现的?2.3 为什么要单侧,单侧具体指的是哪一侧?2.4 one-sided label smoothing小结3. GANs中的模式崩塌现象(mode collapse)3.1 什么是模式坍塌3.2 什么原因导致了模式崩塌3.3 如何解决模式崩塌问题3.3.1 提升GAN的学习能力,进入更好的局部最优解3.3.2原创 2020-05-29 21:08:56 · 701 阅读 · 0 评论 -
对抗生成网络GANs的一些见解(一)
写在前面这篇博客主要记录一下自己对GANs模型的一些见解,并会慢慢补充。1. 自己的PPT先回顾了一下VAE模型,在引出GANs模型这里看一下生成模型的框架从一个段子说起,来通俗的理解GANs的博弈过程,参考原著,略带浮夸:说的是假币贩卖商和警察的故事,假币贩卖商希望自己做的假币越来越逼真以至于能蒙蔽警察的双眼,警察希望自己辨别假币的能力越来越强,无论再真的假币都能看出来,于是,双方开始博弈,最终达到平衡。两者都达到了极限状态:55开(不是lbw)。这时假币贩卖商制作的假币相当逼真(生成原创 2020-05-29 16:43:10 · 256 阅读 · 0 评论 -
Variational inference with Gaussian mixture model and householder flow
1. 标题:在变分推断中使用GMM和householder2. 摘要精读3. 文中需要掌握的知识点3.1 什么是Normalizing Flow3.2 通过NF得到了什么样得变分下界通过NF,我们得后验分布可以变为如下,其中,z维随机变量,服从q分布,行列式维雅可比矩阵。然后利用性质:得到变分下界3.3 网络的结构3.4 如何计算两个GMM之间的KL散度(会推导)利用一个log-sum不等式我们知道单个高斯之间的KL散度是有解析解的,我们通过这样的不等式得到了一个原创 2020-05-20 15:20:53 · 663 阅读 · 0 评论