![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Deep Learning
文章平均质量分 89
roguesir
非、典型算法攻城狮
展开
-
【推荐算法】Norm相关总结(batch norm、layer norm、instance norm、group norm、weighted norm、Cos norm)
深度学习中各种norm方法介绍原创 2022-03-22 14:47:54 · 1384 阅读 · 0 评论 -
【推荐算法】常见优化算法总结(BGD、SGD、Momentum、Nesterov、Adagrad、AdaDelta、Adam)
常见优化算法总结原创 2021-12-31 14:59:59 · 1315 阅读 · 0 评论 -
【推荐算法】推荐系统中的特征工程(五):特征样本构造工具的实现3
【推荐算法】推荐系统中的特征工程(五):特征样本构造工具的实现3原创 2021-11-15 15:53:04 · 1133 阅读 · 0 评论 -
【推荐算法】推荐系统中的特征工程(四):特征样本构造工具的实现2
【推荐算法】推荐系统中的特征工程(四):特征样本构造工具的实现2原创 2021-11-12 17:08:04 · 610 阅读 · 0 评论 -
【推荐算法】推荐系统中的特征工程(三):特征样本构造工具的实现1
【推荐算法】推荐系统中的特征工程(三):特征样本构造工具的实现1原创 2021-11-09 20:30:43 · 546 阅读 · 0 评论 -
【推荐算法】推荐系统中的特征工程(二):特征选取及重要性分析
【推荐算法】推荐系统中的特征工程(二):特征选取及重要性分析原创 2021-11-06 09:10:42 · 1944 阅读 · 0 评论 -
【推荐算法】推荐系统中的特征工程(一):特征处理
【推荐算法】推荐系统中的特征工程(一):特征处理原创 2021-11-05 10:31:33 · 3608 阅读 · 0 评论 -
【Paper Note】FiBiNet论文详解
FiBiNET: Combining Feature Importance and Bilinear featureInteraction for Click-Through Rate Prediction论文详解原创 2021-06-26 16:26:16 · 530 阅读 · 0 评论 -
【推荐算法】ctr预估模型总结(LR、FM、FFM、NFM、AFM、WDL、DCN、DeepFM、FwFM、FLEN)
前言FM系列模型目前已经普遍应用于推荐系统中,网上相关文章和介绍也很多,本文将FM系列论文做一次总结。原创 2021-06-13 22:28:33 · 3088 阅读 · 4 评论 -
【Paper Note】模型蒸馏Model Distilling
这片论文是Hinton在15年提出的,为了提升模型的有效性,模型的复杂度的不断增加,上线实时提供服务成了难题,而知识蒸馏的思路正好可以解决这个问题,同时模型的效果相比复杂模型也不会下降太多。论文中以生物中蝴蝶变态发育作类比介绍知识蒸馏:通过不同的形态,完成同样的使命(任务)。Hinton提出可以通过一个简单模型直接学习复杂模型的概率分布结果,如果one-hot的目标是一种hard-targets,那么这种就是一种soft-targets。一种方法是直接比较logits来避免这个问题。具体地,对于每一.原创 2021-04-30 10:49:28 · 418 阅读 · 0 评论 -
【ML Method】熵、联合熵、条件熵、互信息、相对熵、交叉熵
更新时间:2018-07-07前言之前有写过一篇文章介绍信息增益、Gini、信息增益率的,上面介绍过熵及其相关概念,地址为:https://blog.csdn.net/roguesir/article/details/76619919。这篇文章从另外的角度详细介绍熵、联合熵、条件熵、互信息、相对熵、交叉熵、信息增益等信息,为后面介绍最大熵模型做铺垫。下面进行详细介绍: 熵的概...原创 2018-07-07 00:02:19 · 1815 阅读 · 0 评论 -
【DL项目】基于卷积神经网络实现人脸表情识别
更新时间:2018-07-03前言项目是好久之前做的,现在可能类似的demo也有很多了,已知忘记发博客和上传GitHub了,刚传上去,地址:https://github.com/roguesir/DL-ML-project/tree/master/Expression-Recognition 结构设计采用fer2013人脸表情数据集,使用裁剪和旋转变换进行数据增强,处理...原创 2018-07-06 22:11:46 · 10089 阅读 · 6 评论 -
【DL笔记】AutoEncoder详解(二)
前言之前写过一篇博客介绍AutoEncoder,主要侧重理解(点击这里),这篇博客主要介绍AutoEncoder的算法层面及常见的AE算法。欠完备自编码器(Undercomplete AutoEncoder)AutoEncoder(自编码器,AE)是神经网络的一种,基本结构分为编码、解码过程,即找到随机映射 f=pencoder(h|x)f=pencoder(h|x)f=p_{en...原创 2018-07-24 14:16:20 · 2925 阅读 · 0 评论 -
【Paper Note】xDeepFM详解
更新时间:2018/04/27前言这篇博文是阅读xDeepFM论文之后整理所得,论文地址为:https://arxiv.org/abs/1803.05170,以下理解都是个人想法,有疏漏请指出。论文翻译及模型详解已整理到GitHub上:https://github.com/roguesirEmbedding方式首先,论文介绍了模型中Embedding的方式,对于大规模离...原创 2018-04-27 13:35:33 · 10446 阅读 · 4 评论 -
博客目录——ML&DL项目
更新时间:2018/04/24ML项目【ML项目】基于决策树算法的电信运营商客户流失预测 【ML项目】基于聚类算法的我国临终关怀现状分析 【ML项目】基于情感分析和关系网络的影视产品文本挖掘分析 【ML项目】基于网络爬虫和数据挖掘算法的web招聘数据分析(一)——数据获取及预处理 【ML项目】基于网络爬虫和数据挖掘算法的web招聘数据分析(二)——探索性数据分析 【ML项...原创 2018-04-24 18:23:44 · 873 阅读 · 0 评论 -
博客目录——Deep Learning学习
更新日期:2018/04/25算法学习【方法介绍】相对熵与交叉熵 【方法介绍】相似图片搜索算法介绍 【方法介绍】防止过拟合的处理方法 【模型详解】AutoEncoder详解 【模型详解】VAE详解TensorflowKerasPytorch模型实现基于Tensorflow实现AutoEncoder LeNet5神经网络简介及TensorFlow...原创 2018-04-24 18:21:38 · 634 阅读 · 2 评论 -
博客目录——推荐系统专题
更新时间:2018/05/01推荐系统——算法概述 推荐系统——冷启动问题 推荐系统——Factorization Machine 推荐系统——xDeepFM详解原创 2018-04-24 18:18:47 · 1013 阅读 · 0 评论 -
博客目录
博客目录原创 2018-04-24 17:52:17 · 1449 阅读 · 3 评论 -
【模型详解】AutoEncoder详解(七)——栈式自编码:Stacked AutoEncoder
前言之前介绍了AutoEncoder及其几种拓展结构,如DAE,CAE等,本篇博客介绍栈式自编码器。模型介绍普通的AE模型通过多层编码解码过程,得到输出,最小化输入输出的差异从而使模型学到有用的特征。但是这种AE结构又一个弊端:虽然经过了多次的特征提取,但对于目标函数的计算只有一次,那么,如果通过“栈化”AE结构进行逐层的贪婪训练得到的性能会不会比现有的要好呢?实际上,Stacked Au...原创 2018-12-05 20:59:06 · 5256 阅读 · 0 评论 -
【Paper Note】DCN——Deep & Cross Network for Ad Click Prediction论文翻译(中文)
摘要特征工程一直是许多预测模型成功的关键。然而这个过程是重要的,而且经常需要手动进行特征工程或遍历搜索。DNN可以自动地学习特征地交互作用,然而,它们隐式地的生成所有的特征交互,这对于学习所有类型的交叉特征不一定有效。在本文中,我们提出了一种能够保持深度神经网络良好收益的深度交叉网络(DCN),除此之外,它还引入了一个新的交叉网络,更有效地学习在一定限度下的特征相互作用,更有甚,DCN...翻译 2018-04-01 13:53:16 · 6683 阅读 · 2 评论 -
【DL笔记】变分自编码——VAE详解
前言作为一个坚守9年的V迷,谈VAE还是很兴奋的,虽然这次谈的是Variational AutoEncoder(变分自编码)。这几年,深度学习中的无监督学习越来越受到关注,其中以GAN和VAE最受欢迎,之前有介绍过AE(AutoEncoder)的详解一、详解二和AE实现,本文介绍变分自编码——VAE。 注:之前的名为VAE详解的半成品没有用markdown,编辑公式比较麻烦,索性copy过来...原创 2018-07-28 17:40:48 · 14245 阅读 · 2 评论 -
【DL笔记】Tutorial on Variational AutoEncoder——中英文对照(更新中)
AbstractIn just three years, Variational Autoencoders (VAEs) have emerged as one of the most popular approaches to unsupervised learning of complicated distributions. VAEs are appealing because ...原创 2018-07-31 20:03:47 · 3827 阅读 · 0 评论 -
【Paper Note】Generative Adversarial Nets论文翻译(未完待续)
Generative Adversarial Nets论文翻译翻译 2017-08-08 10:34:49 · 1010 阅读 · 0 评论 -
【Paper Note】Deep Session Interest Network for Click-Through Rate Prediction论文详解
阿里 IJCAI 2019论文DSIN详解原创 2019-08-01 19:41:27 · 987 阅读 · 0 评论 -
【TensorFlow学习笔记(四)】常用函数:池化
池化函数用于降维、提取有效特征,定义在:tensorflow/python/layers/pooling.py中,本篇博客整理了以下六个池化函数。tf.layers.MaxPooling1D用于1D输入的最大池化层.tf.layers.MaxPooling1D( pool_size, strides, padding, data_format, ...原创 2019-07-09 19:44:56 · 872 阅读 · 0 评论 -
【TensorFlow学习笔记(三)】常用函数:卷积
卷积函数tf.nn.convolution(input, filter, padding, strides=None, dilation_rate=None, name=None, data_format=None)用于计算N维卷积的和tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, data_forma...原创 2019-06-26 23:00:19 · 1262 阅读 · 0 评论 -
【TensorFlow学习笔记(二)】常用方法:激活函数
激活函数tf.nn.relu()tf.nn.sigmoid()tf.nn.tanh()tf.nn.elu()tf.nn.biaes_add()tf.nn.crelu()tf.nn.relu6()tf.nn.softplus()tf.nn.softsign()tf.nn.dropout()注:激活函数定义在“/tensorflow/python/ops/nn.py”中。卷积函...原创 2019-06-04 10:04:32 · 766 阅读 · 0 评论 -
【TensorFlow学习笔记(一)】变量作用域
TensorFlow中有两个作用域,一个是name_scope,一个是variable_scope。name_scope主要是给op_name加前缀,variable_scope主要是给variable_name加前缀。variable_scopevariable_scope变量作用域机制主要由两部分组成:v = tf.get_variable_scope(name, shape, dtyp...原创 2019-06-02 18:26:52 · 779 阅读 · 0 评论 -
博客目录——TensorFlow学习笔记
TensorFlow学习笔记(一):变量作用域原创 2019-06-02 14:13:34 · 442 阅读 · 0 评论 -
【模型详解】AutoEncoder详解(六)——Contractive AutoEncoder
paper:摘要本文提出了一种新的AE模型,能够更有效地获得鲁棒特征介绍如何提取鲁棒特征Jacobian矩阵是多维 f(x)f(x)f(x) 的一阶偏导,表示形式如下:(1)∣∣Jf(x)∣∣F2=∑ij(∂hj(x)∂xi)2||J_f(x)||^2_F=\sum_{ij}(\frac{\partial h_j(x)}{\partial x_i})^2 \tag{1}∣∣Jf(x...原创 2018-12-05 16:35:07 · 3187 阅读 · 1 评论 -
【DL笔记】Tutorial on Variational AutoEncoder——中文版(更新中)
摘要近三年来,变分自编码(VAE)作为一种无监督学习复杂分布的方法受到人们关注,VAE因其基于标准函数近似(神经网络)而吸引人,并且可以通过随机梯度下降进行训练。VAE已经在许多生成复杂数据包括手写字体[1,2]、人脸图像[1,3,4]、住宅编码[5,6]、CIFAR图像[6]、物理模型场景[4]、分割[7]以及预测静态图像[8]上显现优势。本教程介绍VAE背后的灵感和数学解释,以及一些实...原创 2018-07-31 20:13:10 · 2038 阅读 · 1 评论 -
【Paper Note】DCN——Deep & Cross Network for Ad Click Prediction论文翻译(中英文对照)
AbstractFeature engineering has been the key to the success of many prediction models. However, the process is nontrivial and o en requires manual feature engineering or exhaustive searching. DN...翻译 2018-03-30 21:01:27 · 8114 阅读 · 0 评论 -
【Paper Note】Dynamic Routing Between Capsules论文翻译(中英文对照)(更新中)
论文地址:https://arxiv.org/pdf/1710.09829.pdfAbstractA capsule is a group of neurons whose activity vector represents the instantiation parameters of a specific type of entity such as an object or...翻译 2018-03-24 21:33:08 · 1630 阅读 · 0 评论 -
Paper-Reading
论文笔记,涉及计算机视觉、推荐算法等原创 2018-03-20 19:50:35 · 1354 阅读 · 0 评论 -
Pytorch实现CNN卷积神经网络
Pytorch实现CNN卷积神经网络原创 2017-08-02 15:08:38 · 14979 阅读 · 8 评论 -
人脸检测工具face_recognition的安装与应用
人脸检测工具face_recognition的安装与应用原创 2017-08-11 23:29:11 · 112570 阅读 · 8 评论 -
【DL笔记】LeNet5神经网络简介及TensorFlow实现
LeNet5神经网络简介原创 2017-06-27 09:54:49 · 24615 阅读 · 10 评论 -
【DL笔记】卷积神经网络简介
卷积神经网络简介原创 2017-06-26 16:22:22 · 3328 阅读 · 0 评论 -
【Error】跑CNN程序时遇到的error(持续更新)
【Error】跑CNN程序时遇到的error原创 2017-07-11 09:51:34 · 1334 阅读 · 0 评论 -
【Paper Note】Convolutional Clustering for Unsupervised Learning 论文理解
【Paper Note】Convolutional Clustering for Unsupervised Learning 论文理解原创 2017-07-12 17:20:10 · 2175 阅读 · 0 评论