简介
搜索小白、CTR小白,整理了一份入坑指南,一些比较好的博客和论文。本文适用于有一定的机器学习和深度学习基础,但是不懂搜索和CTR的同学。
注:后续会不定时更新。
基础
主要是一些经典的语言模型(Language Model):
- N-gram,自然语言处理中N-Gram模型介绍
- RNN,一文搞懂RNN(循环神经网络)基础篇
- LSTM,Understanding LSTM Networks
- Transformer
- 博客, Self-Attention和Transformer
- 视频,B站跟李沐学AI,Transformer论文逐段精读【论文精读】
- GPT系列
- 视频,B站跟李沐学AI,GPT,GPT-2,GPT-3 论文精读【论文精读】
- ELMo,ELMo原理解析及简单上手使用
- BERT
- 博客,BERT 详解
- 视频,B站跟李沐学AI,BERT 论文逐段精读【论文精读】
分布式机器学习系统,像参数服务器架构:
- ParameterServer,参数服务器(Parameter Server)逐段精读【论文精读】
搜索
CTR预估
CTR(即点击率)估计,对用户基础行为做概率预测。
综述博客:
代码:https://github.com/shenweichen/DeepCTR-Torch
基础论文整理如下:
- LR和多项式
- 2013 Google LR,论文阅读:《Ad Click Prediction: a View from the Trenches》
- 2014 Facebook GBDT+LR,CTR预估 论文精读(五)–Practical Lessons from Predicting Clicks on Ads at Facebook
- 2010 FM,分解机(Factorization Machines)推荐算法原理
- 2013 Google LR,论文阅读:《Ad Click Prediction: a View from the Trenches》
- DNN
- 2016 Google DNN for YouTube,DNN for YouTube Recommendations 论文总结
- 2019 Google DNN双塔,Google工业风最新论文, Youtube提出双塔结构流式模型进行大规模推荐
- 2016 FNN,推荐系统笔记7-Deep Learning over Multi-field Categorical Data
- 2016 PNN,Product-based Neural Network (PNN) 介绍与源码浅析
- 2016 DeepCross模型,Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial Features(2016)
- 2016 Google DNN for YouTube,DNN for YouTube Recommendations 论文总结
- Wide & Deep
- 2016 Google Wide & Deep,详解 Wide & Deep 结构背后的动机
- Wide部分改进
- Deep部分改进
- 2017 NFM,Neural Factorization Machines
- 2018 微软xDeepFM,AI上推荐 之 xDeepFM模型(显隐性高阶特征交互的组合策略)
- Attention
- 2017 AFM,推荐系统笔记7-Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attentio
- 2018 AutoInt,AutoInt:基于Multi-Head Self-Attention构造高阶特征
- 2019 新浪微博FiBiNet,FiBiNET:结合特征重要性和双线性特征交互进行CTR预估
- 2019 阿里妈妈DIN,详解 Deep Interest Network: 为阿里创造更多广告收入