天池新闻推荐竞赛

最新推荐文章于 2022-10-14 15:45:41 发布
最新推荐文章于 2022-10-14 15:45:41 发布
阅读量526 收藏 1
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45037903/article/details/110148816
版权

task1打卡

目标：竞赛理解+baseline跑通
完成情况：
使用了天池自带的训练环境，跑了一遍baseline，需要再回顾第一期的推荐知识，有些代码的计算公式原理还没有很明白

task2打卡

目标：数据分析
完成情况：
看了学习手册，没有跑代码。希望在后续的学习中多写一些学习笔记

task3 特征工程

观看了天池的直播
推荐流程

  1. 召回后需要对数据进行负采样
    去除了一些0，但是要保证用户和物品种类不减少

  2. 训练集和测试集的用户不能有交叉

特征构造的三种思路
基于用户的特征行为
基于日志构造用户的特点、文章的特点

特征没有做相对位置信息
在这里插入图片描述

栗子白
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
天池-零基础入门推荐系统新闻推荐之数据分析01
qq_44743835的博客
11-17 1484
主要目录赛题+数据理解user_id 用户id赛题背景数据说明数据探索特征工程模型预测 数据来源： 天池-零基础入门推荐系统数据-数据需要在论坛里面找 赛题+数据理解user_id 用户id 赛题背景 赛题以新闻APP中的新闻推荐为背景，要求选手根据用户历史浏览点击新闻文章的数据信息预测用户未来点击行为，即预测用户的最后一次点击的新闻文章。 数据说明 train_click_log.csv：训练集用户点击日志 testA_click_log.csv：测试集用户点击日志 articles.csv：新闻文章信
CompetitionTianChi_newsRecommendation:天池大赛-新闻推荐场景下的用户行为预测挑战赛，SOLO赛，B榜排名55338
03-16
比赛天池_新闻推荐 天池大赛-新闻推荐场景下的用户行为预测挑战赛，SOLO赛，B榜排名5/5338 解决方案 召回方案 使用热度召回，改进itemCF，分配Swing和item2vec进行多路召回，结合faiss库计算相似文章尝试解决冷启动问题，采用贝叶斯优化选择最优超参数，最终每个用户召回50篇文章。 排序方案 建立用户行为和文章自身特征，根据召回结果按照1：5划分正负样本转化为CTR预测问题，采用lightGBM进行5折交叉验证，根据转化概率得到文章的结果，最终HR @ 5达到0.27，HR @ 50达到0.49。
零基础入门新闻推荐_数据分析Task2
qq_39199884的博客
11-27 289
数据分析 数据分析的价值主要在于熟悉了解整个数据集的基本情况包括每个文件里有哪些数据，具体的文件中的每个字段表示什么实际含义，以及数据集中特征之间的相关性，在推荐场景下主要就是分析用户本身的基本属性，文章基本属性，以及用户和文章交互的一些分布，这些都有利于后面的召回策略的选择，以及特征工程。 建议：当特征工程和模型调参已经很难继续上分了，可以回来在重新从新的角度去分析这些数据，或许可以找到上分的灵感 导包 %matplotlib inline import pandas as pd import numpy
【数据挖掘】天池挑战赛 新闻推荐
Alex_SCY的博客
12-18 3683
比赛网址：https://tianchi.aliyun.com/competition/entrance/531842/introduction 一、项目知识点 数据预处理； 数据可视化； 特征工程； 模型选择； 实验结果的评价； 二、实验过程 一、比赛任务分析 1．赛题背景 赛题以新闻APP中的新闻推荐为背景，要求选手根据用户历史浏览点击新闻文章的数据信息预测用户未来点击行为，即用户的最后一次点击的新闻文章 2．赛题数据 数据来自某新闻APP平台的用户交互数据，包括30万用户，近3
天池-新闻推荐-数据分析
weixin_44023658的博客
11-27 1831
前言读取数据 此次比赛是新闻推荐场景下的用户行为预测挑战赛， 是Datawhale与天池联合举办，该赛题是以新闻APP中的新闻推荐为背景， 目的是要求我们根据用户历史浏览点击新闻文章的数据信息预测用户未来的点击行为， 即用户的最后一次点击的新闻文章， 这道赛题的设计初衷是引导大家了解推荐系统中的一些业务背景， 解决实际问题！ 赛题链接： 零基础入门推荐系统 - 新闻推荐 对于刚接触推荐系统同学推荐先浏览以下基础知识： 推荐系统摘要 推荐系统知识梳理——协同过滤 推荐系统知识梳理——矩阵分解 推荐系统
【零基础入门推荐系统 - 新闻推荐】1-数据分析-天池学习赛笔记
m0_51933492的博客
10-14 1182
平均共现次数3.18，最高为2202，两篇新闻连续出现的概率算高，说明用户看的新闻上下相关性较强。从上图可以发现不同用户点击文章的时间差是有差异的，用户先后点击文章，文章的创建时间也是有差异的。由图知，偏好类型广泛的用户较少，大多数用户的偏好类型较少，在20个类型以下。这是一种简单的处理思路， 判断用户活跃度，更加全面的是再结合上点击时间，点击次数小于等于两次的用户非常的多，这些用户可以认为是非活跃用户。'''点击次数最多的前20篇新闻，点击次数大于2500。此特征可以用于度量用户的兴趣是否广泛。
天池大数据竞赛数据集.zip
01-28
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为参考资料学习借鉴。...天池大数据竞赛数据集.zip
天池大数据竞赛LSTM预测算法分享
09-28
在本项目中，我们主要探讨的是利用大数据和LSTM（Long Short-Term Memory，长短期记忆网络）模型参与天池大数据竞赛，特别是针对a股公司营收的预测问题。以下是相关知识点的详细说明： 1. **大数据**：大数据是指...
天池竞赛.zip
01-15
大学生参加学科竞赛有着诸多好处，不仅有助于个人综合素质的提升，还能为未来职业发展奠定良好基础。以下是一些分析： 首先，学科竞赛是提高专业知识和技能水平的有效途径。通过参与竞赛，学生不仅能够深入学习相关...
天池-新闻推荐 推荐系统
最新发布
02-19
零基础入门推荐系统 - 新闻推荐 赛题以新闻APP中的新闻推荐为背景，要求选手根据用户历史浏览点击新闻...通过这道赛题来引导大家了解推荐系统中的一些业务背景，解决实际问题，帮助竞赛新人进行自我练习、自我提高。
---:零基础入门推荐系统是天池大赛推出的新人学习赛。本笔记主要记录一个机器学习新手参考推荐系统的实现步骤，完成一个新闻推荐系统的实操笔记
03-11
--- 零基础入门推荐系统是天池大赛推出的新人学习赛。本笔记主要记录一个机器学习新手参考推荐系统的实现步骤，完成一个新闻推荐系统的实操笔记
天池新闻推荐入门推荐赛（baseline代码学习）
qq_43274397的博客
03-31 1103
datawhale的新闻推荐赛事
天池新闻推荐入门赛持续跟进——First one!
qq_45068574的博客
11-24 527
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、赛题二、使用步骤1.引入库2.读入数据总结 前言 DataWhale组队学习 Task01 欢迎各方小伙伴一起交流讨论 本文主要内容为针对阿里云天池大赛—— “零基础入门推荐系统之新闻推荐场景下的用户行为预测挑战赛”所做的赛题分析及baseline的初步探究。 一、赛题 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： imp
关于天池赛中零基础入门推荐系统 - 新闻推荐Task04特征工程
weixin_43796337的博客
12-03 247
文章目录前言一、实现步骤1.读取数据：训练和验证集的划分2.读取训练、验证及测试集：3.读取召回列表：4.读取各种Embedding：5.对训练数据做负采样：总结 前言 经过上三篇文章，接下来本文将是此次赛题中的核心内容之一，即特征工程。 | 打卡记录NO.4 一、实现步骤 1.读取数据： 训练和验证集的划分 划分训练和验证集的原因是为了在线下验证模型参数的好坏，为了完全模拟测试集，我们这里就在训练集中抽取部分用户的所有信息来作为验证集。提前做训练验证集划分的好处就是可以分解制作排序特征时的压力，一次.
Task3_天池新闻推荐多路召回
weixin_45869647的博客
11-30 270
文章目录前言一、导包及不同模式数据的读取：二、数据的处理与提取1、文章数据2、用户数据3、点击数据三、多路召回字典的定义四、召回效果评估函数五、总结六、参考 前言 本文针对天池有关推荐系统的赛题进行多路召回部分的理解及大致梳理，不当之处还望指正。顺便简单提一下多路召唤策略：指采用不同的策略、特征或简单模型，分别召回一部分候选集，然后把候选集混合在一起供后续排序模型使用，是一种在“计算速度”和“召回率”之间进行权衡的结果，但召回策略与真实业务强相关 一、导包及不同模式数据的读取： 1.导包 导入需要用到
Task2_天池新闻推荐数据分析
weixin_45869647的博客
11-27 258
文章目录前言一、导包及相关数据的读取：二、数据的预处理和概况浏览三、数据分析1. 用户角度2. 文章角度四、总结五、参考 前言 本文针对天池有关推荐系统的赛题进行数据分析部分的理解及大致梳理，不当之处还望指正 一、导包及相关数据的读取： 1.导包 由于此次分析主要是熟悉了解整个数据集的基本情况，包括每个文件里的数据、每个字段所表示的实际含义、数据集中特征之间的相关性以及用户和文章交互的一些分布，所以进行数据分析前要导入读取相关格式文件以及可视化的包 %matplotlib inline import
datawhale 推荐系统（新闻推荐）天池新闻推荐入门赛之【赛题理解+Baseline】Task01
sinat_39470268的博客
11-25 296
遇到的问题 1.服务器上直接用wget 网址的方式下载天池数据失败， baseline采用了传统的CF协同过滤技术，协同过滤的特点就是完全没有利用到物品本身或者是用户自身的属性， 仅仅利用了用户与物品的交互信息就可以实现推荐，比较简单高效， 但这也是它的一个短板所在， 由于无法有效的引入用户年龄， 性别，商品描述，商品分类，当前时间，地点等一系列用户特征、物品特征和上下文特征， 这就造成了有效信息的遗漏，不能充分利用其它特征数据。 具体代码： ```python # import packages imp
Task05 天池新闻推荐入门赛之【排序模型+模型融合】
sinat_39470268的博客
12-06 249
DIN，Deep Interest Network，深度兴趣网络。论文的关键在于对用户历史行为的embedding向量的改进。模型结构如下： 左边是一般的深度推荐模型，basemodel，basemodel就是将用户特征，进行sum pooling输入给全连接层，和sigmoid函数得到一个输出的结果； 右边则是DIN模型。利用注意力机制对用户的兴趣进行进行一个加权最后再使用一个sum pooling。 其中，va代表的是候选广告的嵌入向量，ej是用户历史中的兴趣；通过注意力机制来表示用户对于不同历史信
Task03 天池新闻推荐入门赛之【多路召回】
sinat_39470268的博客
11-30 93
Task03 天池新闻推荐入门赛之【多路召回】 多路召回 所谓的“多路召回”策略，就是指采用不同的策略、特征或简单模型，分别召回一部分候选集，然后把候选集混合在一起供后续排序模型使用，可以明显的看出，“多路召回策略”是在“计算速度”和“召回率”之间进行权衡的结果。其中，各种简单策略保证候选集的快速召回，从不同角度设计的策略保证召回率接近理想的状态，不至于损伤排序效果。如下图是多路召回的一个示意图，在多路召回中，每个策略之间毫不相关，所以一般可以写并发多线程同时进行，这样可以更加高效。 冷启动问题 冷启动问题
天池新闻文本分类pytorch
09-21
天池新闻文本分类pytorch是一个用于实现新闻文本分类的pytorch框架。在这个框架中，作者采用了"预训练 fgm 交叉验证模型融合"的解决方案。具体来说，作者使用了bert4keras作为基础框架，通过预训练模型和快速梯度...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值