布纸所云

Monte-Carle 树搜索是一种前向搜索(Forward Search)用的是基于采样的模型可以先看一下下文中的一个例子，mini-max搜索是一种传统的博弈树算法，在国际象棋中获得了比较好的应用。但是需要遍历整个游戏树，对于棋格树多许多的围棋，构建完整的游戏树代价是十分昂贵的。28 天自制你的 AlphaGo (6) : 蒙特卡洛树搜索（MCTS）基础选择 Selection：从根节点 R 开始，递归选择最优的子节点（后面会解释）直到达到叶子节点 L。扩展 Expans.

参考资料周博磊 Lecture 2: https://github.com/zhoubolei/introRL/blob/master/lecture2.pdf

一、Markov Decision Process1.1 相关资料David Silver课件: https://www.davidsilver.uk/wp-content/uploads/2020/03/MDP.pdf周博磊课件: https://github.com/zhoubolei/introRL1.2 概述Markov Descision Processes(MDP) 是对强化学习环境(environment) 的一种正式描述：该环境是完全可观测的 (fully observabl

Pointer Network论文地址：https://arxiv.org/pdf/1506.03134.pdf概述传统的 seq2seq 模型会预先固定输出的词汇表，无法解决 输出序列的词汇表会随着输入序列长度的改变而改变 的问题，如寻找凸包等。对于这类问题，输出往往是输入集合的子集。下图是凸包问题示例：Pointer Network 的主要特点如下：Pointer Network的输出是离散的 token，对应 input sequence 中的位置；在输出的每一步， target c

出资人、媒体和受众这三者的利益博弈关系构成了广告活动永远的主线。广告活动的两个主动的参与方是需求方和供给方，被动的参与方是受众。需求方：这里的需求方包括广告主，代表广告主利益的代理商或其他技术形态的采买方，概括来说，就是想要投放广告的一方。供给方：这里的供给方可以是媒体，也可以是其他技术形态的变现平台。在移动互联网时代，媒体指一切拥有流量的电视媒体、报纸、Web网站、移动APP、H5页面等等。概括来说就是给想要投放广告的需求方提供广告位的一方。受众：受众就是我们这群看广告的人啦，之所以说

ATRank: An Attention-Based User Behavior Modeling Framework for Recommendation论文地址：https://arxiv.org/pdf/1711.06632.pdf1. Introduction正如单词可以由上下文表示一样，一个用户也可以由他/她的历史行为来表征用户行为通常构成一个与时间相关的序列（a sequence over the timeline）RNN/CNN被引入来encode behavior sequen

论文地址: https://arxiv.org/pdf/1805.10727.pdfPerceive Your Users in Depth: Learning Universal User Representations from Multiple E-commerce TasksAbstractDUPN (Deep User Perception Network) 通过多任务模型来学习一个通用的用户表征参考资料推荐系统遇上深度学习(五十三)-DUPN：通过多任务学习用户的通用表示...

AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction论文地址：https://arxiv.org/abs/2003.11235Abstract在推荐系统中学习有效的特征交互对于CTR预估任务是十分重要的。本文提出了一种两阶段的算法：Automatic Feature Interaction Selection (AutoFIS).，能够自动

FM假设有nnn个特征：多项式模型y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1nwiwjxixjy(x)=w_0+\sum_{i=1}^{n}w_ix_i + \sum_{i=1}^{n}\sum_{j=i+1}^{n}w_iw_jx_ix_jy(x)=w0​+i=1∑n​wi​xi​+i=1∑n​j=i+1∑n​wi​wj​xi​xj​其中，nnn 代表样本的特征数量，xix_ixi​ 是第iii个特征的值，w0,wi,wjw_0,w_i,w_jw0​,wi​,wj​ 是模型参数

一、 知识蒸馏是什么知识蒸馏主要处理的是模型的有效性和效率之间的平衡问题：模型越来越深、越来越复杂，导致模型上线后相应速度太慢，无法满足系统的低延迟要求。知识蒸馏就是目前一种比较流行的解决此类问题的技术方向。一般为teacher-student模式，主要思想是用一个复杂的、较大的teacher model去指导简单的、较小的student model的学习。线上使用的是student小模型。二、Distilling the Knowledge in a Neural Network论文地址

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html课程PPT：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/RL%20(v6).pdfhttps://easyai.tech/ai-definition/reinforcement-learning/https://...

Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts论文链接论文笔记摘要为什么提出？多任务学习旨在构建单个模型来同时学习多个目标和任务。但是，通常任务之间的关系会极大地影响多任务模型的预测质量。因此，学习task-specific objectives和i...

论文地址：Product-based Neural Networks for User ResponsePrediction一、概述Product-based Neural Networks（PNN）的特点如下：直接从Embedding开始，而不需要预训练使用product 层基于Embedding来学习特征之间的交互（包括内积和外积）进一步通过FC来提取高阶特征模式二、模型结构...

论文地址：Deep Residual Learning for Image Recognition网络退化问题（degradation）在神经网络可以收敛的前提下，随着网络深度增加，网络的表现先是逐渐增加至饱和，然后迅速下降。下图描述了使用不同深度的网络训练得到的训练集上的误差(training error)和测试集上的误差(test error)。残差块xl+1=xl+F(xl,Wl...

论文地址：Deep & Cross Network for Ad Click Predictions目的如何解决稀疏特征向量稠密化的问题：离散类特征编码后过于稀疏，不利于直接输入神经网络进行训练如何解决特征自动交叉组合的问题如何在输出层达成问题设定的优化目标残差神经网络是什么？二、结构DCN模型的结构如下图所示：Embedding & Stacking lay...

论文地址：AutoRec: Autoencoders Meet Collaborative Filtering一、概述将自编码器(AutoEncoder)的思想和协同过滤结合：是个标准的自编码器利用协同过滤中的共现矩阵，完成物品向量或用户向量的自编码利用自编码的结果得到用户对物品的预估评分自编码器是什么？目标自编码器的作用是将向量 r\bm{r}r作为输入，通过重建函数，...

一. LR的数学形式hθ(x)=11+e−θTxh_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}hθ​(x)=1+e−θTx1​二. LR为什么用sigmoid函数2.1 广义线性模型(GLM)首先需要知道，线性回归和逻辑斯蒂回归都是GLM的特殊形式：在线性回归中假设yyy服从高斯分布：y∣x;θ∼N(μ,σ2)y|x; \theta \sim \N...

李宏毅-ELMO, BERT, GPT参考资料笔记教学视频课件引言One-of-Hot: 词汇鸿沟Word-embedding: 语义相近的词在向量空间上也比较近同一个词汇也会有不同的意思：Have you paid that money to the bank yet ?It is safest to deposit your money in the bank.The ...

cookieCookie是由服务器端生成，发送给终端用户，一般是浏览器，浏览器会将Cookie的key/value保存到某个目录下的文本文件内，下次请求同一网站时就发送该Cookie给服务器（前提是浏览器设置为启用cookie）。cookie出现之后，方便了很多，比如你登录了网站，当你下次再来时，由于有cookie的存在，网站知道你是他的注册用户，那么直接登录并且欢迎你。但是也正是由于它这样的...

互联网广告算法和系统实践书籍简介第一部分：互联网广告简介三方角色1.2 互联网广告简史1.3 互联网广告的类型1.4 有效性模型1.5 计费模式1.6 机制设计1.6.1 广告位拍卖1.6.2 广义一阶价格1.6.3 广义二阶价格1.6.3 VCG机制书籍简介作者：王勇睿第一部分：互联网广告简介广告是由已确定的出资人通过各种媒介进行的有关产品（商品、服务和观点）的、有偿的、有组织的、综合的...