weixin_40901056的博客

依赖<dependency> <groupId>org.tensorflow</groupId> <artifactId>spark-tensorflow-connector_2.11</artifactId> <version>1.13.1</v...

ATRank: An Attention-Based User Behavior Modeling Framework for Recommendation 详解一、简介这是阿里巴巴和北大联合发表的一篇论文，在电商环境中，用户会存在多种行为：浏览、购买、收藏商品，领取、使用优惠券，搜索关键词等等。由于attention具有抓取序列间的内在关系的能力，因此利用attention来对用户不同的...

Seq2Seq中的Attention和self-attention一、Seq2Seq Model首先介绍Seq2Seq模型，进而引入Attention机制。Seq2Seq模型的经典应用是语言模型，类似于语言翻译的例子（英译汉），Seq2Seq的目的就是将英文句子（输入Sequence），转换为汉语句子（输出Sequence），这里的Sequence是由字（单词）的序列。这种Seq2Seq通常...

negative sampling负采样和nce loss一、Noise contrastive estimation（NCE）语言模型中，在最后一层往往需要：根据上下文c，在整个语料库V中预测某个单词w的概率，一般采用softmax形式其中partition function Z(c)的目的是normalize，使得p为一个概率分布。一般根据最大似然法估计上述参数，但是这个公式的计算量是...

一、word2vector1、 hierarchical softmax传统的softmax的最后一层需要计算每个单词的概率，效率太低，因此提出了替代方案：Hierarchical softmax。Hierarchical Softmax 基于这样的思想：相比于直接建模 P(y/x) ，我们可以先定义一个划分函数 c() 将 y 划分到区域 C，然后：即计算 x 条件下 y 的概率，先...

一、区别特征交互作用这部分模型的演进思路就是根据假设来增加参数量 ( 即模型复杂度 ) 来提高模型表达能力。FFM 模型参数量太大，一则容易过拟合，二则不利于线上大规模部署 ( 内存压力 ) 。 笔者更倾向于 Field-weighted FM，简单有效，在效果和实际应用上做了很好的 tradeoff 。1.1 FMFactorization Machineshttps://www.csi...

斯坦福课程 http://web.stanford.edu/class/cs224n/百度云视频知乎作者笔记：https://www.zhihu.com/people/siliconvalleysddx/posts

Look-alike简介Look-alike是在线营销活动中常用的一种技术，目的是根据广告主提供的用户，帮助其进行人群圈选。Look-alike的输入是一个user列表(可以是user id 或者电话号码等id标识)，这个user列表可以是广告主上一次活动的人群，可以是广告主的已有用户中高净值人群等等。这个输入人群列表有个专有名次叫做“种子用户(seeds)”。而Look-alike的输出还是一...

Attention简介Attention是2015年被提出来的，在NLP领域大放光彩。Attention具有在繁多信息中自动focus到重点的能力，而且Attention可以实现并行，一定程度上可以替代LSTM等循环神经网络，提高模型效率。Attention的具体介绍可以参考Attention总结。根据上面的Attention总结，Attention可以看作是 QKV 模型，假设输入为 q，（...