浅梦的博客

学习记录 https://github.com/shenweichen https://zhuanlan.zhihu.com/c_1011291807795138560

Alias:时间复杂度O(1)的离散采样方法

【Alias】时间复杂度O(1)的离散事件抽样方法 最近在看graph embedding的一些东西,发现像deepwalk,node2vec在采样节点路径以及line中采样边的时候都用到了Alias方法。这里简单总结一下 问题定义 给定一个离散型随机变量的概率分布规律P(X=i)=piP(...

2019-01-14 22:45:14

阅读数:8

评论数:0

AutoInt:使用Multi-head Self-Attention进行自动特征学习的CTR模型

本文首发于知乎专栏 https://zhuanlan.zhihu.com/p/53462648 简介 这篇论文提出使用multi-head self attention(类似Transformer里的那个) 机制来进行自动特征交叉学习以提升CTR预测任务的精度。 废话不多说,先看下主要结构。...

2018-12-27 22:04:25

阅读数:28

评论数:0

DeepCTR:易用可扩展的深度学习点击率预测算法库

这个项目主要是对目前的一些基于深度学习的点击率预测算法进行了实现,并且对外提供了一致的调用接口。 关于每种算法的介绍这里就不细说了,大家可以看论文,看知乎,看博客,讲的都很清楚的。 这里简单从整体上介绍一下DeepCTR这个库。 首先这个不是一个框架,它不具有学术创新意义,目前也没有解决什么...

2018-12-25 16:55:16

阅读数:88

评论数:0

Pytorch API备忘

之前一直用tensorflow和keras,最近在看一些CV领域的paper,发现相关的开源代码很多是pytorch实现的,于是打算学下pytorch。 以下内容主要来于《深度学习入门之Pytorch》这本书。 Pytorch基础 Tensor张量 名称 类型 ...

2018-09-11 14:49:05

阅读数:253

评论数:0

《强化学习》探索方法

衡量探索 基于不确定性的探索 基于MCTS的规划

2018-06-21 14:39:07

阅读数:342

评论数:0

《强化学习》基于策略的方法

基于策略RL和基于值函数RL 直觉 不同种类的策略 策略梯度形式 LOG技巧 REINFORCE with baseline Actor-Critic Advantage Actor Critic ...

2018-06-20 16:36:17

阅读数:539

评论数:0

《强化学习》近似值函数方法

表格方法的局限 Deep Q-Network

2018-06-04 21:09:57

阅读数:309

评论数:0

《强化学习》 模型无关方法

模型无关学习 Monte-Carlo & Temporal Difference; Q-learning 探索与利用 on-policy 和 off-policy SARSA Expected value S...

2018-06-04 16:57:59

阅读数:223

评论数:0

《强化学习》 DP动态规划

奖赏设计 累计奖赏和折扣累计奖赏 数学上看,折扣奖赏机制可以将累计回报转化为递推的形式: Gt=Rt+γ(Rt+1+γRt+2+...)=Rt+γGt+1Gt=Rt+γ(Rt+1+γRt+2+...)=Rt+γGt+1\begin{aligned} G_t &...

2018-05-30 12:48:33

阅读数:423

评论数:0

《强化学习》 基本概念和交叉熵方法

基本概念 监督学习与强化学习 监督学习 强化学习 通过学习近似参考答案 通过试验和错误来学习最优策略 需要正确答案 代理的动作需要反馈 模型不影响输入数据 代理可以影响自己的观察 bandit赌博机...

2018-05-29 23:44:48

阅读数:419

评论数:0

《序列模型》之序列模型和注意力机制

seq2seq基础模型 Sequence to Sequence Learning with Neural Networks Learning Phrase Representations using RNN Encoder-Decoder for Statistical Ma...

2018-02-12 21:50:42

阅读数:394

评论数:0

《序列模型》之自然语言处理和词嵌入

词嵌入简介 Linguistic regularities in continuous spaceword representations A Neural Probabilistic Language Model Word2vec&GloVe ...

2018-02-12 21:50:26

阅读数:343

评论数:0

《序列模型》之循环神经网络基础

RNN model 模型架构 BPTT 不同类型的RNN 梯度爆炸和梯度消失 出现原因 解决梯度爆炸 检测 梯度裁剪 截断BPTT 解决梯度消失 很难检测 ...

2018-02-12 21:49:52

阅读数:183

评论数:0

《卷积网络》人脸识别和神经风格迁移

本文简单介绍了人脸识别和神经风格迁移的相关内容。

2017-11-24 19:36:37

阅读数:478

评论数:0

《卷积网络》物体检测

本文介绍了物体检测的相关概念,包括物体定位,物体检测,YOLO算法和基于Region proposals的方法。

2017-11-23 19:42:49

阅读数:282

评论数:0

《卷积网络》深度卷积网络实例

本文介绍了经典CNN架构,LeNet-5,AlexNet,VGG,ResNet,Inception以及一些使用上的技巧和建议。

2017-11-22 18:43:50

阅读数:426

评论数:0

《卷积网络》卷积神经网络基础

主要介绍了卷积神经网络的基本概念,Padding和Stride,卷积的计算方式,池化层,卷积和池化的反向传播等

2017-11-21 22:07:37

阅读数:227

评论数:0

深度学习之参数初始化策略

本文介绍了深度学习中参数的初始化对训练的影响以及常用参数初始化策略,标准初始化,Xavier初始化,He初始化。

2017-10-13 22:09:43

阅读数:3699

评论数:0

主成分分析PCA

本文首先介绍了向量空间的概念,然后从最近重构性和最大可分性推导了PCA公式,最后给出了伪代码和算法评价。Kernel PCA

2017-10-12 14:42:04

阅读数:293

评论数:0

在线学习算法FTRL-Proximal

本文首先简要说明了几种在线稀疏学习算法,如L1OGD,TG,FOBOS,RDA。然后主要介绍FTRL算法,包括参数更新策略,公式推导,和逐维度的学习率调度机制。最后给出了LR模型上带l1l2正则化的FTRL算法的伪代码。

2017-10-09 15:52:53

阅读数:1485

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭