Task05 天池新闻推荐入门赛之【排序模型+模型融合】

最新推荐文章于 2022-10-14 15:45:41 发布
最新推荐文章于 2022-10-14 15:45:41 发布
阅读量241 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_39470268/article/details/110763655
版权

DIN，Deep Interest Network，深度兴趣网络。论文的关键在于对用户历史行为的embedding向量的改进。模型结构如下：

在这里插入图片描述
左边是一般的深度推荐模型，basemodel，basemodel就是将用户特征，进行sum pooling输入给全连接层，和sigmoid函数得到一个输出的结果；

右边则是DIN模型。利用注意力机制对用户的兴趣进行进行一个加权最后再使用一个sum pooling。
在这里插入图片描述
其中，va代表的是候选广告的嵌入向量，ej是用户历史中的兴趣；通过注意力机制来表示用户对于不同历史信息中的关注的重点部分；

改进的关键在于DIN提出了一个局部激活单元，用来产生用户历史行为特征的权重，从而根据候选商品进行自适应调整不同历史行为特征对最终结果的影响程度。传统方法中不管候选商品是什么，经过SUM Pooling后得到的用户历史行为特征都是一样的。但是从现实角度来看，对于不同的候选商品，用户的不同历史行为商品的影响程度是不一样的，而传统深度模型并没有体现出这一点。而DIN中的local activation unit则会根据历史行为商品和候选商品算出一个权重作为该历史行为商品对点击率的影响程度，此时经过 SUM Pooling后得到的用户历史行为特征则会根据不同候选商品发生变化，模型的多样化表征能力也就更强了。我们再来看下上图最右边的local activation unit，模型的输入是历史行为商品embedding向量和候选商品embedding向量，但是传到内部全连接层的输入还加上了两个特征向量的乘积，论文中提到是为了“help relevance modeling”。

采用的特征：包括用户信息，用户行为信息，商品信息等等；其中包含了很多多值离散特征
在这里插入图片描述
Dice函数（Data Adaptive Activation Function）是根据Pleakyrelu激活函数演化而来的，它的分割点不是严格的零点，而是根据数据来进行变化的，两者图像如下图所示；
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
我们这里直接调包来使用这个模型， 关于这个模型的详细细节部分我们会在下一期的推荐系统组队学习中给出。下面说一下该模型如何具体使用：deepctr的函数原型如下：

def DIN(dnn_feature_columns, history_feature_list, dnn_use_bn=False,
dnn_hidden_units=(200, 80), dnn_activation=‘relu’, att_hidden_size=(80, 40), att_activation=“dice”,
att_weight_normalization=False, l2_reg_dnn=0, l2_reg_embedding=1e-6, dnn_dropout=0, seed=1024,
task=‘binary’):

dnn_feature_columns: 特征列， 包含数据所有特征的列表
history_feature_list: 用户历史行为列， 反应用户历史行为的特征的列表
dnn_use_bn: 是否使用BatchNormalization
dnn_hidden_units: 全连接层网络的层数和每一层神经元的个数， 一个列表或者元组
dnn_activation_relu: 全连接网络的激活单元类型
att_hidden_size: 注意力层的全连接网络的层数和每一层神经元的个数
att_activation: 注意力层的激活单元类型
att_weight_normalization: 是否归一化注意力得分
l2_reg_dnn: 全连接网络的正则化系数
l2_reg_embedding: embedding向量的正则化稀疏
dnn_dropout: 全连接网络的神经元的失活概率
task: 任务， 可以是分类， 也可是是回归
在具体使用的时候， 我们必须要传入特征列和历史行为列， 但是再传入之前， 我们需要进行一下特征列的预处理。具体如下：

首先，我们要处理数据集， 得到数据， 由于我们是基于用户过去的行为去预测用户是否点击当前文章， 所以我们需要把数据的特征列划分成数值型特征， 离散型特征和历史行为特征列三部分， 对于每一部分， DIN模型的处理会有不同
对于离散型特征， 在我们的数据集中就是那些类别型的特征， 比如user_id这种， 这种类别型特征， 我们首先要经过embedding处理得到每个特征的低维稠密型表示， 既然要经过embedding， 那么我们就需要为每一列的类别特征的取值建立一个字典，并指明embedding维度， 所以在使用deepctr的DIN模型准备数据的时候， 我们需要通过SparseFeat函数指明这些类别型特征, 这个函数的传入参数就是列名， 列的唯一取值(建立字典用)和embedding维度。
对于用户历史行为特征列， 比如文章id， 文章的类别等这种， 同样的我们需要先经过embedding处理， 只不过和上面不一样的地方是，对于这种特征， 我们在得到每个特征的embedding表示之后， 还需要通过一个Attention_layer计算用户的历史行为和当前候选文章的相关性以此得到当前用户的embedding向量， 这个向量就可以基于当前的候选文章与用户过去点击过得历史文章的相似性的程度来反应用户的兴趣， 并且随着用户的不同的历史点击来变化，去动态的模拟用户兴趣的变化过程。这类特征对于每个用户都是一个历史行为序列， 对于每个用户， 历史行为序列长度会不一样， 可能有的用户点击的历史文章多，有的点击的历史文章少， 所以我们还需要把这个长度统一起来， 在为DIN模型准备数据的时候， 我们首先要通过SparseFeat函数指明这些类别型特征， 然后还需要通过VarLenSparseFeat函数再进行序列填充， 使得每个用户的历史序列一样长， 所以这个函数参数中会有个maxlen，来指明序列的最大长度是多少。
对于连续型特征列， 我们只需要用DenseFeat函数来指明列名和维度即可。
处理完特征列之后， 我们把相应的数据与列进行对应，就得到了最后的数据。

转载：
作者：妖皇裂天
链接：https://www.jianshu.com/p/cddb87f19605
来源：简书

欢迎使用Markdown编辑器

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

  1. 全新的界面设计 ，将会带来全新的写作体验；
  2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
  3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
  4. 全新的 KaTeX数学公式 语法；
  5. 增加了支持甘特图的mermaid语法1 功能；
  6. 增加了 多屏幕编辑 Markdown文章功能；
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
  8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

居中的图片: Alt

居中并且带尺寸的图片: Alt

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

  • 项目
    • 项目
      • 项目
  1. 项目1
  2. 项目2
  3. 项目3
  • 计划任务
  • 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目 Value
电脑 $1600
手机 $12
导管 $1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列 第二列 第三列
第一列文本居中 第二列文本居右 第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE ASCII HTML
Single backticks 'Isn't this fun?' ‘Isn’t this fun?’
Quotes "Isn't this fun?" “Isn’t this fun?”
Dashes -- is en-dash, --- is em-dash – is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t

最低0.47元/天 解锁文章
sinat_39470268
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
天池AI学习笔记 特征工程
暮雨凉初透
11-27 785
特征工程天池AI学习笔记 特征工程特征选择特征工程简历寻找高级特征特征选择小结特征表达缺失值处理特殊值处理离散特征连续化处理离散特征离散化处理连续特征离散化处理特征表达小结特征预处理特征的标准化和归一化异常特征样本清洗处理不平衡数据 天池AI学习笔记 特征工程 这是第一个天池AI学习教程的学习笔记，也是第一次尝试使用csdn的Markdown编辑器，哈哈哈。。。 学习教程地址：特征工程简介 特征工...
推荐排序模型3——DeepFM及python（DeepCTR）实现
u012290039的专栏
06-23 6463
CTR（Click-Through-Rate）即点击通过率，是互联网广告常用的术语，指网络广告（图片广告/文字广告/关键词广告/排名广告/视频广告等）的点击到达率，即该广告的实际点击次数除以广告的展现量。 CTR是衡量互联网广告效果的一项重要指标。 CTR预估数据特点： 1）输入中包含类别型和连续型数据。类别型数据需要one-hot,连续型数据可以先离散化再one-hot，也可2）以直接保留原值 3）维度非常高 4）数据非常稀疏 5）特征按照Field分组 CTR预估重点在于学习组合特征。注意，组合特征包括
模型融合方法
weixin_40347266的博客
09-05 1098
融合对象 融合对象，是不同的个体学习器 (Individual Leaner)。 对于个体学习器来说，它们的不同体现在： 不同训练数据：数据集使用比例、预处理方法 (缺失值填补、特征工程等)； 不同模型结构：RF、XGBoost、LightGBM、CatBoost、CNN、LSTM等； 不同超参：随机种子数、权重初始化、收敛相关参数 (例如学习率、batch size、epoch、早停步数)、损失函数、子采样比例等。 融合方法 1.投票法 适用于分类任务，对多个学习器的预测结果进行投票，即少数服从多数。
天池-零基础入门推荐系统新闻推荐之数据分析01
qq_44743835的博客
11-17 1452
主要目录赛题+数据理解user_id 用户id赛题背景数据说明数据探索特征工程模型预测 数据来源： 天池-零基础入门推荐系统数据-数据需要在论坛里面找 赛题+数据理解user_id 用户id 赛题背景 赛题以新闻APP中的新闻推荐为背景，要求选手根据用户历史浏览点击新闻文章的数据信息预测用户未来点击行为，即预测用户的最后一次点击的新闻文章。 数据说明 train_click_log.csv：训练集用户点击日志 testA_click_log.csv：测试集用户点击日志 articles.csv：新闻文章信
【数据挖掘】天池挑战赛 新闻推荐
Alex_SCY的博客
12-18 3560
比赛网址：https://tianchi.aliyun.com/competition/entrance/531842/introduction 一、项目知识点 数据预处理； 数据可视化； 特征工程； 模型选择； 实验结果的评价； 二、实验过程 一、比赛任务分析 1．赛题背景 赛题以新闻APP中的新闻推荐为背景，要求选手根据用户历史浏览点击新闻文章的数据信息预测用户未来点击行为，即用户的最后一次点击的新闻文章 2．赛题数据 数据来自某新闻APP平台的用户交互数据，包括30万用户，近3
阿里天池-零基础入门NLP - 新闻文本分类
07-04
阿里天池-零基础入门NLP - 新闻文本分类
二手车交易价格预测_Task5_模型融合
12-21
模型融合_代码示例部分 #导入工具包 import numpy as np import pandas as pd from sklearn import metrics from sklearn import linear_model from sklearn.datasets import make_blobs # 这是打包好的波士顿房价...
.NET基于Task的异步编程模型
01-31
StudioAsyncCTP，体验了下基于Task的异步编程带来的新特性。在CTP中，增加了新的关键字: async,await。尤其是在SL，WP7的编程中，大量使用异步调用的环境里，async,await的确能减少编程的复杂度。看上去像是同步的...
大模型入门学习笔记.zip
09-16
大模型入门学习笔记.zip 大模型入门学习（主要基于DataWhale组织的学习任务） ## Task 01 梳理了语言模型的进化史。 ## Task 02 这一节主要是讲述大模型的能力，通过一些任务来探索，这里我整理了prompt的范式，...
---:零基础入门推荐系统是天池大赛推出的新人学习赛。本笔记主要记录一个机器学习新手参考推荐系统的实现步骤，完成一个新闻推荐系统的实操笔记
03-11
--- 零基础入门推荐系统是天池大赛推出的新人学习赛。本笔记主要记录一个机器学习新手参考推荐系统的实现步骤，完成一个新闻推荐系统的实操笔记
大模型理论基础打卡Task05
最新发布
12-15
大模型理论基础打卡Task05 本资源摘要信息将对大模型理论基础进行系统的总结和分析，涵盖了法律、道德、知识产权、公平使用、机器学习等方面的知识点。 法律与道德 大模型理论基础中，法律和道德是两个重要的概念...
【零基础入门推荐系统 - 新闻推荐】1-数据分析-天池学习赛笔记
m0_51933492的博客
10-14 1110
平均共现次数3.18，最高为2202，两篇新闻连续出现的概率算高，说明用户看的新闻上下相关性较强。从上图可以发现不同用户点击文章的时间差是有差异的，用户先后点击文章，文章的创建时间也是有差异的。由图知，偏好类型广泛的用户较少，大多数用户的偏好类型较少，在20个类型以下。这是一种简单的处理思路， 判断用户活跃度，更加全面的是再结合上点击时间，点击次数小于等于两次的用户非常的多，这些用户可以认为是非活跃用户。'''点击次数最多的前20篇新闻，点击次数大于2500。此特征可以用于度量用户的兴趣是否广泛。
用Golang写一个搜索引擎（0x05）--- 文本相关性排序
weixin_33877885的博客
04-18 174
上面我们已经说过了一些倒排索引的东西，并且也知道了如何来实现一个倒排索引完成检索功能，那么检索完了以后如何排序呢，这一篇简单的说一下倒排索引的文本相关性排序，因为排序实在是太复杂了，我们这里就说说文本的相关性排序，而且是最简单的TD-IDF排序，之后有机会可以再说说整个搜索的排序算法有些什么。 文本相关性排序 首先明白几个概念： Ter...
模型排序模型融合学习
m0_49978528的博客
12-06 1276
LGB的排序模型 LGB的分类模型 深度学习的分类模型DIN 两种比较经典的模型集成的方法： 输出结果加权融合 Staking（将模型的输出结果再使用一个简单模型进行预测） –感觉这里用的统计的组合平均法 import numpy as np import pandas as pd import pickle from tqdm import tqdm import gc, os import time from datetime import datetime import lightgbm as lgb
零基础入门新闻推荐_数据分析Task2
qq_39199884的博客
11-27 287
数据分析 数据分析的价值主要在于熟悉了解整个数据集的基本情况包括每个文件里有哪些数据，具体的文件中的每个字段表示什么实际含义，以及数据集中特征之间的相关性，在推荐场景下主要就是分析用户本身的基本属性，文章基本属性，以及用户和文章交互的一些分布，这些都有利于后面的召回策略的选择，以及特征工程。 建议：当特征工程和模型调参已经很难继续上分了，可以回来在重新从新的角度去分析这些数据，或许可以找到上分的灵感 导包 %matplotlib inline import pandas as pd import numpy
推荐系统学习笔记——八、推荐系统多路召回融合排序
Lynnzxl的博客
04-01 4640
八、推荐系统多路召回融合排序 多路召回与融合排序 多路召回 推荐服务一般有多个环节（召回、粗排序、精排序），一般会使用多个召回策略，互相弥补不足，效果更好。比如说： 实时召回- U2I2I， 几秒之内根据行为更新推荐列表。 用U2I得到你实时的行为对象列表，再根据I2I得到可能喜欢的其他的物品 这个是实时召回，剩下3个是提前算好的 基于内容 - U2Tag2I 先算好用户的偏好tag，然...
深度学习deepctr 推荐算法召回youtube和排序deepfm，保存与加载、预测和部署
weixin_42357472的博客
07-08 2870
参考：https://github.com/shenweichen/DeepCTR 1、youtube召回算法 深度召回算法dssm，fm，ncf，sdm，mind 用tensorflow 1.X，不然deepmatch会报eager错误 import pandas as pd from sklearn.utils import shuffle from sklearn.model_selection import train_test_split from deepctr.inputs import Sp
模型融合
WhyNot
04-16 3001
参考：台大机器学习技法  http://blog.csdn.NET/lho2010/article/details/42927287           stacking&blending  http://heamy.readthedocs.io/en/latest/usage.html 1.blending 比如数据分成train和test，对于model_i（比如xgbo
python模型融合
08-24
Python模型融合是一种将多个模型组合在一起以提高整体表现的技术。在机器学习比赛中，特别是团队参与的比赛中，模型融合是一个重要的手段，可以在模型相差较大但表现良好的情况下显著提升结果。 在Python中，有几种...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值