- 博客(122)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 【强化学习】MCTS: 蒙特卡洛树搜索
Monte-Carle 树搜索是一种前向搜索(Forward Search)用的是基于采样的模型可以先看一下下文中的一个例子，mini-max搜索是一种传统的博弈树算法，在国际象棋中获得了比较好的应用。但是需要遍历整个游戏树，对于棋格树多许多的围棋，构建完整的游戏树代价是十分昂贵的。28 天自制你的 AlphaGo (6) : 蒙特卡洛树搜索（MCTS）基础选择 Selection：从根节点 R 开始，递归选择最优的子节点（后面会解释）直到达到叶子节点 L。扩展 Expans.
2020-10-15 08:31:19
1768
原创 【强化学习】 Planning By Dynamic Programming
参考资料周博磊 Lecture 2: https://github.com/zhoubolei/introRL/blob/master/lecture2.pdf
2020-09-20 16:30:22
208
原创 【强化学习】马尔科夫决策过程
一、Markov Decision Process1.1 相关资料David Silver课件: https://www.davidsilver.uk/wp-content/uploads/2020/03/MDP.pdf周博磊课件: https://github.com/zhoubolei/introRL1.2 概述Markov Descision Processes(MDP) 是对强化学习环境(environment) 的一种正式描述：该环境是完全可观测的 (fully observabl
2020-09-17 08:28:18
290
原创 【深度学习】Pointer Network
Pointer Network论文地址：https://arxiv.org/pdf/1506.03134.pdf概述传统的 seq2seq 模型会预先固定输出的词汇表，无法解决 输出序列的词汇表会随着输入序列长度的改变而改变 的问题，如寻找凸包等。对于这类问题，输出往往是输入集合的子集。下图是凸包问题示例：Pointer Network 的主要特点如下：Pointer Network的输出是离散的 token，对应 input sequence 中的位置；在输出的每一步， target c
2020-09-10 08:06:46
415
原创 【计算广告】计算广告阅读笔记
出资人、媒体和受众这三者的利益博弈关系构成了广告活动永远的主线。广告活动的两个主动的参与方是需求方和供给方，被动的参与方是受众。需求方：这里的需求方包括广告主，代表广告主利益的代理商或其他技术形态的采买方，概括来说，就是想要投放广告的一方。供给方：这里的供给方可以是媒体，也可以是其他技术形态的变现平台。在移动互联网时代，媒体指一切拥有流量的电视媒体、报纸、Web网站、移动APP、H5页面等等。概括来说就是给想要投放广告的需求方提供广告位的一方。受众：受众就是我们这群看广告的人啦，之所以说
2020-07-05 18:50:27
920
原创 【推荐系统】ATRank: Attention-Based User Behavior Modeling Framework For Recommendation
ATRank: An Attention-Based User Behavior Modeling Framework for Recommendation论文地址：https://arxiv.org/pdf/1711.06632.pdf1. Introduction正如单词可以由上下文表示一样，一个用户也可以由他/她的历史行为来表征用户行为通常构成一个与时间相关的序列（a sequence over the timeline）RNN/CNN被引入来encode behavior sequen
2020-07-01 11:45:04
4640
原创 【推荐系统】DUPN:Deep User Perception Network
论文地址: https://arxiv.org/pdf/1805.10727.pdfPerceive Your Users in Depth: Learning Universal User Representations from Multiple E-commerce TasksAbstractDUPN (Deep User Perception Network) 通过多任务模型来学习一个通用的用户表征参考资料推荐系统遇上深度学习(五十三)-DUPN：通过多任务学习用户的通用表示...
2020-06-20 17:17:39
1418
原创 【推荐系统】AutoFIS: Automatic Feature Interaction Selection in FM for CTR Prediciton
AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction论文地址：https://arxiv.org/abs/2003.11235Abstract在推荐系统中学习有效的特征交互对于CTR预估任务是十分重要的。本文提出了一种两阶段的算法：Automatic Feature Interaction Selection (AutoFIS).，能够自动
2020-06-16 22:51:43
2098
1
原创 【推荐系统】FM，FFM和DeepFM
FM假设有nnn个特征：多项式模型y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1nwiwjxixjy(x)=w_0+\sum_{i=1}^{n}w_ix_i + \sum_{i=1}^{n}\sum_{j=i+1}^{n}w_iw_jx_ix_jy(x)=w0+i=1∑nwixi+i=1∑nj=i+1∑nwiwjxixj其中，nnn 代表样本的特征数量，xix_ixi 是第iii个特征的值，w0,wi,wjw_0,w_i,w_jw0,wi,wj 是模型参数
2020-06-07 11:36:59
360
原创 【推荐系统】知识蒸馏概述
一、 知识蒸馏是什么知识蒸馏主要处理的是模型的有效性和效率之间的平衡问题：模型越来越深、越来越复杂，导致模型上线后相应速度太慢，无法满足系统的低延迟要求。知识蒸馏就是目前一种比较流行的解决此类问题的技术方向。一般为teacher-student模式，主要思想是用一个复杂的、较大的teacher model去指导简单的、较小的student model的学习。线上使用的是student小模型。二、Distilling the Knowledge in a Neural Network论文地址
2020-05-31 20:37:45
915
原创 【强化学习】强化学习导论
http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html课程PPT：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/RL%20(v6).pdfhttps://easyai.tech/ai-definition/reinforcement-learning/https://...
2020-04-25 19:45:11
437
原创 【推荐系统】Multi-gate Mixture-of-Experts(MMoE)
Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts论文链接论文笔记摘要为什么提出？多任务学习旨在构建单个模型来同时学习多个目标和任务。但是，通常任务之间的关系会极大地影响多任务模型的预测质量。因此，学习task-specific objectives和i...
2020-04-21 22:26:50
1481
1
原创 【推荐系统】Product-based Neural Networks for User Response Prediction
论文地址：Product-based Neural Networks for User ResponsePrediction一、概述Product-based Neural Networks（PNN）的特点如下：直接从Embedding开始，而不需要预训练使用product 层基于Embedding来学习特征之间的交互（包括内积和外积）进一步通过FC来提取高阶特征模式二、模型结构...
2020-04-20 21:44:42
434
2
原创 【深度学习】残差神经网络
论文地址：Deep Residual Learning for Image Recognition网络退化问题（degradation）在神经网络可以收敛的前提下，随着网络深度增加，网络的表现先是逐渐增加至饱和，然后迅速下降。下图描述了使用不同深度的网络训练得到的训练集上的误差(training error)和测试集上的误差(test error)。残差块xl+1=xl+F(xl,Wl...
2020-04-18 19:56:55
1362
原创 【推荐系统】Deep & Cross Network
论文地址：Deep & Cross Network for Ad Click Predictions目的如何解决稀疏特征向量稠密化的问题：离散类特征编码后过于稀疏，不利于直接输入神经网络进行训练如何解决特征自动交叉组合的问题如何在输出层达成问题设定的优化目标残差神经网络是什么？二、结构DCN模型的结构如下图所示：Embedding & Stacking lay...
2020-04-18 12:19:21
396
原创 【推荐系统】AutoRec:当自编码器遇见协同过滤
论文地址：AutoRec: Autoencoders Meet Collaborative Filtering一、概述将自编码器(AutoEncoder)的思想和协同过滤结合：是个标准的自编码器利用协同过滤中的共现矩阵，完成物品向量或用户向量的自编码利用自编码的结果得到用户对物品的预估评分自编码器是什么？目标自编码器的作用是将向量 r\bm{r}r作为输入，通过重建函数，...
2020-04-12 19:18:19
969
原创 逻辑斯蒂回归之sigmoid函数
一. LR的数学形式hθ(x)=11+e−θTxh_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}hθ(x)=1+e−θTx1二. LR为什么用sigmoid函数2.1 广义线性模型(GLM)首先需要知道，线性回归和逻辑斯蒂回归都是GLM的特殊形式：在线性回归中假设yyy服从高斯分布：y∣x;θ∼N(μ,σ2)y|x; \theta \sim \N...
2020-04-04 10:44:40
1166
原创 李宏毅-ELMO, BERT, GPT
李宏毅-ELMO, BERT, GPT参考资料笔记教学视频课件引言One-of-Hot: 词汇鸿沟Word-embedding: 语义相近的词在向量空间上也比较近同一个词汇也会有不同的意思：Have you paid that money to the bank yet ?It is safest to deposit your money in the bank.The ...
2020-02-29 17:40:42
778
原创 cookie和cookie mapping
cookieCookie是由服务器端生成，发送给终端用户，一般是浏览器，浏览器会将Cookie的key/value保存到某个目录下的文本文件内，下次请求同一网站时就发送该Cookie给服务器（前提是浏览器设置为启用cookie）。cookie出现之后，方便了很多，比如你登录了网站，当你下次再来时，由于有cookie的存在，网站知道你是他的注册用户，那么直接登录并且欢迎你。但是也正是由于它这样的...
2019-07-17 14:58:23
232
原创 互联网广告算法和系统实践-读书笔记
互联网广告算法和系统实践书籍简介第一部分：互联网广告简介三方角色1.2 互联网广告简史1.3 互联网广告的类型1.4 有效性模型1.5 计费模式1.6 机制设计1.6.1 广告位拍卖1.6.2 广义一阶价格1.6.3 广义二阶价格1.6.3 VCG机制书籍简介作者：王勇睿第一部分：互联网广告简介广告是由已确定的出资人通过各种媒介进行的有关产品（商品、服务和观点）的、有偿的、有组织的、综合的...
2019-06-27 16:25:19
2678
1
转载 Thrift
Thrift的原理与使用数据类型1、基本类型bool，布尔型，1个字节；byte，有符号单字节；i16，有符号16位整型；i32，有符号32位整型；i64，有符号64位整型；double，64位浮点数；string，字符串；binary，字节数组；注意：thrift不支持无符号整型。2、容器map<t1,t2>，字典；list<t1>，列表；...
2018-12-23 14:47:58
519
原创 【推荐系统】Learning Tree-based Deep Model for Recommender Systems
论文连接：Learning Tree-based Deep Model for Recommender Systems学习基于树的推荐系统深度模型1. 导言基于用户历史行为或者其他有着相似偏好的用户行为来推断用户兴趣的个性化推荐已经被广泛应用于各个领域。挑战：语料库十分庞大的时候，即使是关于语料库大小线性复杂度的模型也不能够接受没有考虑推荐系统的新颖度(novelty)小贴士：...
2018-12-23 14:18:56
4655
原创 第一周实习总结
linux用法上传文件至服务器/从服务器下载文件：scp上传本地文件到服务器scp local_file remote_username@remote_ip:remote_folderscp local_file remote_username@remote_ip:remote_file上传目录到服务器scp -r local_folder remote_username@re...
2018-12-21 19:26:41
654
转载 计算广告资料汇总
计算广告资料汇总原文来自于：https://www.jianshu.com/p/8c591feb9fc4papers计算广告论文、学习资料、业界分享 - 王喆Paper Collection of Real-Time Bidding - Weinan Zhang计算广告干货整理 - 雪伦在线课程Introduction to Computational Advertising - S...
2018-12-20 09:44:51
226
原创 第5章 实验题和作业
实验题1 变量作用域运行下列程序，查看输出。#include &lt;iostream&gt;using namespace std;void fn1(); int x = 1, y = 2; int main(){ cout &lt;&lt; "Begin..." &lt;&lt; endl; cout &lt;&lt;
2018-12-18 12:47:14
821
原创 第5章 数据的共享和保护
标识符的作用域与可见性作用域是一个标识符在程序正文中有效的区域。作用域分类函数原型作用域局部作用域(块作用域)类作用域文件作用域命名空间作用域（详见第10章）函数原形作用域函数原型中的参数，其作用域始于&quot;(&quot;，结束于&quot;)&quot;。函数原型作用域举例double area(double radius);局部作用域函数的形参、在块中声明的标识符；其作用域自声明处起，限于块中。...
2018-12-17 22:54:28
437
原创 第4章 实验
实验CPU类#include &lt;string&gt;#include &lt;iostream&gt;using namespace std;enum CPU_Rank { P1 = 1, P2, P3, P4, P5, P6 };class CPU {private: CPU_Rank rank; int frequency; float voltage;publi...
2018-12-17 11:49:58
249
1
原创 第4章 类与对象
类与对象面向对象程序的基本特点抽象封装继承多态类和对象类和对象的定义类定义的语法形式类内初始值类成员的访问控制公有类型成员私有类型成员保护类型成员对象定义的语法类成员的访问权限类的成员函数内联成员函数类和对象程序实例构造函数构造函数的作用构造函数的形式构造函数的调用时机默认构造函数隐含生成的构造函数“=default”构造函数例题例题1例题2委托构造函数复制构造函数复制构造函数定义隐含的复制构造函...
2018-12-17 10:42:35
277
原创 第3章：作业题
作业题C3-1 直角三角形题目描述输入一个三角形的3边长度，判断该三角形是否为直角三角形，若是则输出True，若不是则输出False。推荐做法：定义一个函数，接受三个int参数，返回bool，再用主函数调用之。输入描述每行输入三个由空格隔开的整数 a, b, c ，表示三角形的 3 条边长1 &amp;lt;= a,b ,c &amp;lt;= 10000输出描述对于每一行输入，输出T...
2018-12-12 13:37:55
2312
4
原创 第3章 函数 (2)
嵌套与递归一、嵌套与递归1、函数的嵌套2、函数的递归调用例题1：计算n的阶乘例题2：用递归法计算从n个人中选k个人组成一个委员会的不同组合数。例题3 汉诺塔二、函数的参数传递1、引用类型例题1： 值传递，交换一、嵌套与递归1、函数的嵌套2、函数的递归调用定义：函数直接或者间接地调用自身。例题1：计算n的阶乘#include &amp;amp;lt;iostream&amp;amp;gt;using namesp...
2018-12-12 11:07:30
639
原创 第3章 函数(1)
函数函数定义的语法形式例题x^n次方数制转换编写程序求$\pi$的值回文sinx函数定义的语法形式例题x^n次方//计算x的n次方#include &amp;lt;iostream&amp;gt;using namespace std;double pow(double x, int n){ double val=1.0; while(n--){ val*=x; } return va...
2018-12-11 12:36:16
449
转载 贪婪模式和非贪婪模式
1.什么是正则表达式的贪婪与非贪婪匹配如：String str=“abcaxc”;Patter p=“ab.*c”;贪婪匹配:正则表达式一般趋向于最大长度匹配，也就是所谓的贪婪匹配。如上面使用模式p匹配字符串str，结果就是匹配到：abcaxc(ab.*c)。非贪婪匹配：就是匹配到结果就好，就少的匹配字符。如上面使用模式p匹配字符串str，结果就是匹配到：abc(ab.*c)。2.编程中...
2018-12-10 13:49:59
783
转载 Jupyter快捷键
原文Jupyter 快捷键Jupyter Notebook 有两种键盘输入模式。编辑模式，允许你往单元中键入代码或文本；这时的单元框线是绿色的。命令模式，键盘输入运行程序命令；这时的单元框线是灰色。命令模式 (按键 Esc 开启)Enter : 转入编辑模式Shift-Enter : 运行本单元，选中下个单元Ctrl-Enter : 运行本单元Alt-Enter : 运行本单元，在其下...
2018-12-08 10:41:21
167
原创 Keras windows plot_model问题解决
Keras plot_model问题解决办法安装 pydot_ngpip install pydot_ng下载 graphviz.msihttp://www.graphviz.org/Download_windows.php修改 pydot_ng的__init__.py修改 keras/utils/vis_utils.pyimport pydot_ng as pydot...
2018-12-06 11:50:02
849
原创 fastText
参数说明fasttext（3）-- API 文档 &amp;amp;amp; 参数说明使用fasttext完成文本处理及文本预测官方文档
2018-12-03 22:32:41
259
原创 第2章 C++的简单程序设计（一）
第2章 C++的简单程序设计（一）C++语言概述命名空间基本数据类型、常量、变量程序举例读入并显示数据运算与表达式sizeof, 位运算sizeof运算位运算C++语言概述命名空间避免命名冲突：std是C++标准库的命名空间（ namespace）名using namespace std表示打开std命名空间#include &amp;amp;amp;lt;iostream&amp;amp;amp;gt; //编译预处理命令usi...
2018-11-25 09:34:06
545
原创 浙大数据结构-作业
第一章：基本概念最大子列和问题n=int(input())lst=list(map(int,input().split()))maxSum=0thisSum=0for i in range(n): thisSum+=lst[i] if thisSum<0: thisSum=0 if thisSum>maxSum: maxSum=thisSum...
2018-10-10 15:40:53
444
1
原创 C++程序语言设计-第1章：绪论
第一章 绪论计算机系统简介计算机语言和程序设计方法的发展计算机语言的发展历程程序设计语言的发展历程面向对象的基本概念程序的开发过程信息的表示和存储计算机中的信息与存储单位计算机的数字系统十进制和二进制的相互转换二进制的编码表示计算机系统简介计算机语言和程序设计方法的发展计算机语言的发展历程C++语言是高级语言支持面向对象的观点和方法将客观事物看做对象对象间通过消息传送进行沟通...
2018-10-10 11:20:28
332
原创 抖音产品分析
抖音产品分析 深度分析：上线仅500天的抖音，居然PK掉了快手和美拍，这个团队做了什么 深度｜结合官方数据告诉你，抖音的产品设计是如何做到第一的？产品音乐短视频抖音是一款音乐创意短视频社交软件，是一个专注年轻人的15秒音乐短视频社区。用户可以通过这款软件选择歌曲，拍摄15秒的音乐短视频，形成自己的作品并支持一键发布到社区，可以获得他人的点赞、评论和分享。 竞品抖音...
2018-09-27 09:16:27
4034
计算广告学-刘鹏
2019-02-24
Pattern Recognition and Machine Learning(完整答案) Bishop
2017-09-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人