自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

浅梦的学习笔记

公众号:浅梦的学习笔记 https://github.com/shenweichen https://zhuanlan.zhihu.com/weichennote...

原创 DeepCTR v0.7.1 版本更新说明

hello大家好, 自deepctr v0.7.0在去年11月底更新后,由于个人的一些原因没能及时的跟进和解答朋友们在github issue区,DeepCTR交流群以及通过邮件的方式提出的相关问题,这里先说一声抱歉,希望没有影响到朋友们的学习和工作。 放假回家在家里躺平放空若干天后,总算有心情打...

2020-01-28 21:41:43 388 0

原创 FLEN: 利用场信息缓解梯度耦合的大规模CTR预测模型

摘要 点击率预估问题中,建模特征交互对于模型的效果起着至关重要的作用。然而,大部分基于因子分解的模型都存在一个梯度。 本文提出了一个Field-Leveraged Embedding Network (FLEN) 模型。 FLEN使用了一个filed-wise bi-interaction poo...

2019-11-21 08:02:59 335 0

原创 【ICDE2020】SeqFM: 基于多视图自注意力的动态序列感知CTR预测模型

本文由来自昆士兰大学,格里菲斯大学和国立交通大学联合发表在ICDE2020上的一篇文章,题目为Sequence-Aware Factorization Machines for Temporal Predictive Analytics 主要提出了一种同时结合了特征交互中的顺序依赖和保持DNN的非...

2019-11-12 14:18:09 528 0

原创 【Graph Neural Network】GraphSAGE: 算法原理,实现和应用

GCN等方法要求图中的所有的顶点在训练过程 GraphSAGE(Graph SAmple and aggreGatE)框架,通过训练聚合节点邻居的函数(卷积层),使GCN扩展成归纳学习任务,对未知节点起到泛化作用。 ...

2019-08-24 20:54:52 908 0

原创 【Graph Neural Network】GCN: 算法原理,实现和应用

半年前写过一系列关于Graph Embedding技术的介绍文章, 【Graph Embedding】DeepWalk:算法原理,实现和应用 【Graph Embedding】LINE:算法原理,实现和应用 【Graph Embedding】Node2Vec:算法原理,实现和应用 【Graph E...

2019-08-18 00:08:59 1428 1

原创 FiBiNET:结合特征重要性和双线性特征交互进行CTR预估

简介 今天主要介绍新浪微博机器学习团队发表在RecSys19上的一项工作。 文章标题为 FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction ...

2019-07-10 10:03:02 1400 0

原创 CCPM&FGCNN:使用CNN进行特征生成的CTR预测模型

前言 今天主要通过两篇论文介绍如何将CNN应用在传统的结构化数据预测任务中,由于时间关系,尽量以精简的语言说明主要问题,并提供代码实现,细节问题请参阅论文。 《A Convolutional Click Prediction Model》 《Feature Generation by Convo...

2019-04-27 21:36:58 1882 0

原创 【Graph Embedding】Struc2Vec:算法原理,实现和应用

前面介绍过DeepWalk,LINE,Node2Vec,SDNE几个graph embedding方法。这些方法都是基于近邻相似的假设的。其中DeepWalk,Node2Vec通过随机游走在图中采样顶点序列来构造顶点的近邻集合。LINE显式的构造邻接点对和顶点的距离为1的近邻集合。SDNE使用邻接...

2019-02-14 21:25:22 4367 1

原创 【Graph Embedding】SDNE:算法原理,实现和应用

SDNE(Structural Deep Network Embedding Daixin)是和node2vec并列的工作,均发表在2016年的KDD会议中。可以看作是基于LINE的扩展,同时也是第一个将深度学习应用于网络表示学习中的方法。 SDNE使用了无监督学习的方法来同时优化1阶和2阶...

2019-02-13 21:19:29 2489 1

原创 【Graph Embedding】node2vec:算法原理,实现和应用

前面介绍过基于DFS邻域的DeepWalk和基于BFS邻域的LINE。node2vec则是一种综合考虑dfs邻域和bfs邻域的graph embedding方法。 DeepWalk:算法原理,实现和应用 LINE:算法原理,实现和应用 简单来说,node2vec是deepwalk的一种扩展,...

2019-02-12 20:12:13 15137 3

原创 【Graph Embedding】LINE:算法原理,实现和应用

之前我们介绍过DeepWalk,DeepWalk使用DFS随机游走在图中进行节点采样,使用word2vec在采样的序列学习图中节点的向量表示。 与DeepWalk不同的是,LINE既可以用于无权图,也可用于带权图中。 在之前提到过,不同的graph embedding方法的一个主要区别是对于图...

2019-02-12 10:26:03 6342 7

原创 【Graph Embedding】DeepWalk:算法原理,实现和应用

图表示学习 我们都知道在数据结构中,图是一种基础且常用的结构。现实世界中许多场景可以抽象为一种图结构,如社交网络,交通网络,电商网站中用户与物品的关系等。 目前提到图算法一般指: 经典数据结构与算法层面的:最小生成树(Prim,Kruskal,…),最短路(Dijkstra,Floyed...

2019-02-09 16:33:57 3530 0

原创 Alias:时间复杂度O(1)的离散采样方法

【Alias】时间复杂度O(1)的离散事件抽样方法 最近在看graph embedding的一些东西,发现像deepwalk,node2vec在采样节点路径以及line中采样边的时候都用到了Alias方法。这里简单总结一下 问题定义 给定一个离散型随机变量的概率分布规律P(X=i)=piP(...

2019-01-14 22:45:14 607 0

原创 AutoInt:使用Multi-head Self-Attention进行自动特征学习的CTR模型

本文首发于知乎专栏 https://zhuanlan.zhihu.com/p/53462648 简介 这篇论文提出使用multi-head self attention(类似Transformer里的那个) 机制来进行自动特征交叉学习以提升CTR预测任务的精度。 废话不多说,先看下主要结构。...

2018-12-27 22:04:25 5747 2

原创 DeepCTR:易用可扩展的深度学习点击率预测算法库

这个项目主要是对目前的一些基于深度学习的点击率预测算法进行了实现,并且对外提供了一致的调用接口。 关于每种算法的介绍这里就不细说了,大家可以看论文,看知乎,看博客,讲的都很清楚的。 这里简单从整体上介绍一下DeepCTR这个库。 首先这个不是一个框架,它不具有学术创新意义,目前也没有解决什么...

2018-12-25 16:55:16 3030 2

原创 Pytorch API备忘

之前一直用tensorflow和keras,最近在看一些CV领域的paper,发现相关的开源代码很多是pytorch实现的,于是打算学下pytorch。 以下内容主要来于《深度学习入门之Pytorch》这本书。 Pytorch基础 Tensor张量 名称 类型 ...

2018-09-11 14:49:05 963 0

原创 《强化学习》探索方法

衡量探索 基于不确定性的探索 基于MCTS的规划

2018-06-21 14:39:07 1066 0

原创 《强化学习》基于策略的方法

基于策略RL和基于值函数RL 直觉 不同种类的策略 策略梯度形式 LOG技巧 REINFORCE with baseline Actor-Critic Advantage Actor Critic ...

2018-06-20 16:36:17 2559 0

原创 《强化学习》近似值函数方法

表格方法的局限 Deep Q-Network

2018-06-04 21:09:57 915 0

原创 《强化学习》 模型无关方法

模型无关学习 Monte-Carlo & Temporal Difference; Q-learning 探索与利用 on-policy 和 off-policy SARSA Expected value SARSA...

2018-06-04 16:57:59 898 0

原创 《强化学习》 DP动态规划

奖赏设计 累计奖赏和折扣累计奖赏 数学上看,折扣奖赏机制可以将累计回报转化为递推的形式: Gt=Rt+γ(Rt+1+γRt+2+...)=Rt+γGt+1Gt=Rt+γ(Rt+1+γRt+2+...)=Rt+γGt+1\begin{aligned} G_t &...

2018-05-30 12:48:33 951 0

原创 《强化学习》 基本概念和交叉熵方法

基本概念 监督学习与强化学习 监督学习 强化学习 通过学习近似参考答案 通过试验和错误来学习最优策略 需要正确答案 代理的动作需要反馈 模型不影响输入数据 代理可以影响自己的观察 bandit赌博机...

2018-05-29 23:44:48 1278 0

原创 《序列模型》之序列模型和注意力机制

seq2seq基础模型 Sequence to Sequence Learning with Neural Networks Learning Phrase Representations using RNN Encoder-Decoder for Statistical Ma...

2018-02-12 21:50:42 615 0

原创 《序列模型》之自然语言处理和词嵌入

词嵌入简介 Linguistic regularities in continuous spaceword representations A Neural Probabilistic Language Model Word2vec&GloVe wo...

2018-02-12 21:50:26 530 0

原创 《序列模型》之循环神经网络基础

RNN model 模型架构 BPTT 不同类型的RNN 梯度爆炸和梯度消失 出现原因 解决梯度爆炸 检测 梯度裁剪 截断BPTT 解决梯度消失 很难检测 ...

2018-02-12 21:49:52 286 0

原创 《卷积网络》人脸识别和神经风格迁移

本文简单介绍了人脸识别和神经风格迁移的相关内容。

2017-11-24 19:36:37 643 0

原创 《卷积网络》物体检测

本文介绍了物体检测的相关概念,包括物体定位,物体检测,YOLO算法和基于Region proposals的方法。

2017-11-23 19:42:49 453 0

原创 《卷积网络》深度卷积网络实例

本文介绍了经典CNN架构,LeNet-5,AlexNet,VGG,ResNet,Inception以及一些使用上的技巧和建议。

2017-11-22 18:43:50 698 0

原创 《卷积网络》卷积神经网络基础

主要介绍了卷积神经网络的基本概念,Padding和Stride,卷积的计算方式,池化层,卷积和池化的反向传播等

2017-11-21 22:07:37 331 0

原创 深度学习之参数初始化策略

本文介绍了深度学习中参数的初始化对训练的影响以及常用参数初始化策略,标准初始化,Xavier初始化,He初始化。

2017-10-13 22:09:43 9672 0

原创 主成分分析PCA

本文首先介绍了向量空间的概念,然后从最近重构性和最大可分性推导了PCA公式,最后给出了伪代码和算法评价。Kernel PCA

2017-10-12 14:42:04 480 0

原创 在线学习算法FTRL-Proximal

本文首先简要说明了几种在线稀疏学习算法,如L1OGD,TG,FOBOS,RDA。然后主要介绍FTRL算法,包括参数更新策略,公式推导,和逐维度的学习率调度机制。最后给出了LR模型上带l1l2正则化的FTRL算法的伪代码。

2017-10-09 15:52:53 2332 0

原创 特征选择的方法

本文介绍了特征选择的三类方法,过滤式,包裹式,嵌入式。

2017-10-09 14:41:56 5611 0

原创 深度学习之循环神经网络

本文介绍了RNN,双向RNN,seq2seq架构,LSTM,GRU等,以及长期依赖的解决方案,截断梯度等。

2017-10-05 14:21:23 9590 0

原创 深度学习之卷积网络

本文介绍了卷积网络的三个重要思想,稀疏连接,参数共享,等变表示。介绍了卷积和池化,以及输出维度和参数量的计算。

2017-10-04 15:45:58 2325 1

原创 深度学习中的优化方法

本文介绍了深度学习中优化的若干问题,包括小批量梯度下降,SGD和动量方法,自适应学习率算法,二阶近似算法,批标准化和坐标下降等

2017-10-03 15:27:00 8096 2

原创 深度学习中的正则化方法

深度学习正则化方法,包括参数范数惩罚,Dropout,数据增强,early stopping等。

2017-10-01 23:39:09 1511 0

原创 深度学习中激活函数的选择

本文介绍了深度学习引入非线性激活函数的原因,和几种常用的激活函数,sigmoid,tanh,relu,leaky relu,prelu,maxout.

2017-10-01 22:38:07 2379 0

原创 无约束最优化方法

本文介绍了无约束最优化的两种常用方法,梯度法和牛顿法,拟牛顿法和BFGS,Broyden类算法

2017-10-01 21:17:25 523 0

原创 性能度量

本文介绍了机器学习任务中的常用度量,包括准确率,查全率,查准率,TPR,FPR,F分数。ROC,PR曲线,AUC。多类分类的度量,回归任务的度量

2017-09-29 18:14:56 431 0

提示
确定要删除当前文章?
取消 删除