2020KDD-CUP阿里天池一篇baseline复现debiasingRush（二）

最新推荐文章于 2022-12-06 16:34:12 发布
最新推荐文章于 2022-12-06 16:34:12 发布
阅读量580 收藏
点赞数 2
分类专栏： NLP与推荐算法 文章标签： KDD-CUP SR-GNN 数据处理 训练数据 pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SPESEG/article/details/107343030
版权
本文详细介绍了KDD-CUP比赛中的视频推荐任务，涉及数据的读取、初步处理、归一化、特征融合以及训练数据构造。在数据处理中，讨论了如何处理特殊格式的数据和归一化策略。在构建训练数据时，探讨了编码字典、用户和物品的嵌入表示，以及训练集和测试集的划分。同时，文章还提到了在构建SR-GNN模型数据时遇到的问题和解决方案。
摘要由CSDN通过智能技术生成

上面一篇介绍了所用数据的分割，这篇主要是训练数据的构建。

For Video Recommendation in Deep learning QQ Group 277356808
 
For Visual in deep learning QQ Group 629530787
 
I'm here waiting for you
 

 关于数据的介绍参考这一篇。

 

1-读取及初步处理item-feat

获取item-feat毫无疑问，就一个csv文件，我很好奇，这种数据是咋存的。。。。如下

42844,[4.514945030212402, -2.3837196826934814, 0.5004140138626099, 0.40706828236579895, -1.995228886604309, 0.10907801240682602, -0.6917753219604492, 2.2274599075317383, -6.437974452972412, -0.8248971700668335, -0.13872423768043518, -0.3793291747570038, 0.6276600956916809, 0.41837671399116516, 4.441218376159668, 0.29981935024261475, 0.5785568356513977, -4.699289321899414, -0.39474016427993774, -2.3916513919830322,
了解本专栏 订阅专栏 解锁全文 超级会员免费看
小李飞刀李寻欢
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
2020KDD-CUP阿里天池一篇baseline复现debiasingRush（一）
NLP与推荐算法
07-14 587
来源于github，自搜可得。 For Video Recommendation in Deep learning QQ Group 277356808 For Visual in deep learning QQ Group629530787 I'm here waiting for you wanna have a date with someone in Beijing please join in the QQ Group737813700 1-改变当前的工作目录...
这是一名南京985AI硕士，CSDN博客专家
zandaoguang的博客
11-23 490
微信公众号推荐AI蜗牛车公众号微信公众号《AI蜗牛车》，公众号致力于技术项目化，具体化，思考化，会写系列的项目工程文章，细致到位，也会写一个读物的读书笔记，或者一个语言/框架的学习笔记，也会写一些个人思考，个人反思，个人故事，所见所闻，在这里你可能会遇见你所遇到过的，但也一定会遇到新的东西，这样才有意思。AI蜗牛车个人介绍笔名：AI蜗牛车， github/csdn/公号博主id为Che_Hongs...
KDD CUP 2020之Debiasing赛道方案 (Rush)
fengdu78的博客
06-27 2432
“本文介绍了Rush团队在KDD CUP 2020的Debiasing赛道中的解决方案，涵盖了在召回，粗排以及精排阶段的问题思考和总结，并针对核心算法模块给出了清晰的代码实现，全程干货...
KDD Cup 2020 Debiasing比赛冠军技术方案及在美团广告的实践
美团技术团队
08-20 7655
总第407篇2020年 第31篇ACM SIGKDD （国际数据挖掘与知识发现大会，简称 KDD）是数据挖掘领域的国际顶级会议。美团到店广告平台搜索广告算法团队基于自身的业务场景，一直在...
KDD_CUP_2020_Debiasing_Rush:KDD CUP 2020去偏轨解决方案
03-20
解决KDD CUP 2020偏轨的解决方案（Team Rush） 我们提出CF + GNN召回方法，以及GBDT和DIN的整体排名方法。请在我的博客或zhihu中参考我们解决方案的摘要， 最终结果 轨道B， ndcg-full：第三名（7.277） ndcg-half：排名第10 （7.226） 介绍 数据 下载链接： ://pan.baidu.com/s/1P2h7APGUEscdnGlYQpgh-g密码：kilm 只需下载数据并覆盖数据目录 资料折叠格式 |-- data |-- underexpose_train |-- underexpose_item_feat.csv |-- underexpose_train_click-0.csv |-- underexpose_train_click-1.csv |-- ... |-- underexpose_t
KDDCUP20-Debiasing-Top5
04-24
赛题链接 运行环境 python 3.6 张量流1.12 运行入口 ./run.sh 数据集 提取码：zf58 解压密码 7c2d2b8a636cbd790ff12a007907b2ba underexpose_train_click-1 ea0ec486b76ae41ed836a8059726aa85 underexpose_train_click-2 65255c3677a40bf4d341b0c739ad6dff underexpose_train_click-3 c8376f1c4ed07b901f7fe5c60362ad7b underexpose_train_click-4 63b326dc07d39c9afc65ed81002ff2ab underexpose_train_click-5 f611f3e477b458b718223248fd0d1b55
阿里天池大赛[人工智能辅助糖尿病遗传风险预测]赛后总结
Welcome ! This is Guanpx's blog.
03-06 5157
题目以及数据介绍 人工智能辅助糖尿病遗传风险预测 初始思想 1.从头开始，先看一下初始数据以及数据的简单分析吧 训练数据，最后一列是血糖： A榜测试数据 第九个特征与标签的关系分布 第三十八个 各个特征计数（有点糊） 各个特征(标签)的标准差 热力图(反应相关性) 标签数量分布(简单取整) 2. 对以上数据分析一下： 1）特征的数据分布...
KDD Cup 2020 - Debiasing：user feature
思过留痕
07-14 381
Written by wanping7 from datetime import datetime # data process import numpy as np, pandas as pd from datetime import datetime, timedelta # visualize import seaborn as sns import matplotlib.pyplot as plt %matplotlib inline import plotly.express as px i
KDD-CUP-2020
05-23
标题“KDD-CUP-2020”指的是2020年的KDD Cup竞赛，这是一个全球知名的数据挖掘和知识发现比赛。KDD Cup由国际数据挖掘与知识发现大会（KDD Conference）主办，旨在推动数据科学、机器学习和大数据分析等领域的发展。...
matlabauc代码-KDD-CUP-2014:KDD-CUP-2014
05-24
Matlab的耳语KDD-CUP-2014 KDD-CUP-2014在DonorsChoose.org上预测兴奋 团队细分错误 团队成员：陈浩，金文功，彭延庆，赵卓月 ＃＃＃数据处理： data_processing / donation.rb（由Chen Hao撰写）：从donation.csv中...
基于Vue+Django+KDD-CUP99的网络入侵检测系统源码+db数据库(课程设计新项目).zip
最新发布
07-26
基于Vue+Django+KDD-CUP99的网络入侵检测系统源码+db数据库(课程设计新项目).zip基于Vue+Django+KDD-CUP99的网络入侵检测系统源码+db数据库(课程设计新项目).zip基于Vue+Django+KDD-CUP99的网络入侵检测系统源码+db...
KDD-CUP99-Modeling:一个基于KDD CUP99数据集学习分类算法的项目
05-09
请随时研究数据集上异常检测的不同算法。 Python或Matlab中的机器学习分类器（例如SVM，TSVM，Radom Forrest，RNN等）； Python或Matlab中的（例如NSA，否定选择算法）； 最后，总结不同算法的比较。
python实现基于KDD-CUP99数据集的网络攻击检测项目源码+全部资料（高分项目）.zip
04-07
python实现基于KDD-CUP99数据集的网络攻击检测项目源码+全部资料（高分项目）.zip本资源中的源码都是经过本地编译过可运行的，资源项目的难度比较适中，内容都是经过助教老师审定过的能够满足学习、使用需求，如果有...
YouTube改进之transformer
NLP与推荐算法
09-04 6205
ytb改进方法Transformer尝试
关于召回率和hit rate
NLP与推荐算法
10-07 5614
召回率：之前说过，这个博文中也详细说了，这里还是要说下，在推荐中的具体含义。 从数据库中筛出来几百个用户感兴趣的item，这就是召回的过程，其中一个关键词是：用户感兴趣 什么是用户感兴趣的item，用户看过的？不一定，用户看过的再推一次就不一定感兴趣了，这就是长期兴趣和短期兴趣的问题， 比如我喜欢张国荣，即使很多我已经看过的视频，再推一次我还是会看的，当然这个时间间隔不能太短，我刚看完，你就又推同一个视频肯定不行（这里是不是有一个去重的过程，一般召回阶段不考虑吧） 短期兴趣的话就是及时的，我这时感兴
分布式训练反而速度更慢了？
NLP与推荐算法
09-16 5482
hi我是菜鸟小明哥，之前实现了ytb版本的分布式计算，而且对比了旧版本的效果，发现在训练时间上面旧版本更厉害，不到一分钟只用一个卡即可完成训练，而新版本同样的样本需要1个小时，woc，这是天地差别啊。因此有必要针对其中问题进行改进，不能出现没道理的现象。 For Recommendation in Deep learning QQ Second Group 102948747 For deep learning QQ Group 629530787 I'm here waiting for you 不接.
信息抽取/实体关系抽取之UIE
NLP与推荐算法
12-06 4883
飞酱NLP之信息抽取，知识抽取，关系抽取UIE
GCE-GNN论文解读及代码
NLP与推荐算法
11-08 4724
hi本文是gnn系列的延续，前面可参考，TAGNN，SRGNN，LightGCN，根据论文数据比较，GCE-GNN要比TAGNN的效果好很多，如下是同一数据同一指标的对比，可见一斑。考虑到TAGNN并没有比SRGNN高很多，本菜鸟打算放弃TAGNN了，舍得。 For Video Recommendation in Deep learning QQ Group 277356808 For Visual in deep learning QQ Group629530787 I'm here wait.
from gensim.models import Word2Vec
NLP与推荐算法
03-19 4370
关于word2vec，这个gensim的库可以在win下直接用，而直接安装的word2vec库是不能在win下用的，因为安装都不成功。 Installing collected packages: word2vec Running setup.py install for word2vec ... error ERROR: Command errored out with ex...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小李飞刀李寻欢

您的欣赏将是我奋斗路上的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值