在三月份的时候得知了天猫的比赛,因为是第一届,因此自己知道得也比较晚,组队的时候很多小伙伴都已经组队了,因此也就一个人组队了。辛辛苦苦熬到了第二季的最后
一个月,学到了很多,也明白了很多自己在算法方面的不足。看最近前十名的同学已经揭晓了,很佩服他们,也从他们的采访中中了解到他们的算法,因此也对自己不熟悉的部分进行学习,对自己所做过的工作进行总结
首先再回顾一下比赛的题目:
在天猫,每天都会有数千万的用户通过品牌发现自己喜欢的商品,品牌是联接消费者与商品最重要的纽带。本届赛题的任务就是根据用户4个月在天猫的行为日志,建立用户的品牌偏好,并预测他们在将来一个月内对品牌下商品的购买行为。
我们会开放如下数据类型:
字 段 | 字段说明 | 提取说明 |
---|---|---|
user_id | 用户标记 | 抽样&字段加密 |
Time | 行为时间 | 精度到天级别&隐藏年份 |
action_type | 用户对品牌的行为类型 | 包括点击、购买、加入购物车、收藏4种行为 (点击:0 购买:1 收藏:2 购物车:3) |
brand_id | 品牌数字ID | 抽样&字段加密 |
用户对任意商品的行为都会映射为一行数据。其中所有商品ID都已汇总为商品对应的品牌ID。用户和品牌都分别做了一定程度的数据抽样,且数字ID都做了加密。所有行为的时间都精确到天级别(隐藏年份)。
第二赛季和第一赛季的格式都是一样的,只是在数据量上更大了一些:Season 2赛季数据
1) 数据获取方式:
参赛者只能登陆阿里巴巴天池集群获取数据,且数据不能下载,所有数据分析,计算,提交评分都将在天池集群上完成。登陆天池集群方法,请留
意后续的指导文档和邮件通知。
2) 数据说明:
提供的数据量,涉及千万级天猫用户,万级天猫品牌,时间跨度4个月的行为记录。
提供的训练数据在天池集群的表t_alibaba_bigdata_user_brand_total_1中,字段分别为:user_id,brand_id, type, visit_datetime。如图所示
![](https://i-blog.csdnimg.cn/blog_migrate/317e53c7f45f43837530a2682e130803.png)
用户4种行为类型(Type)对应代码分别为:
点击:0;购买:1;收藏:2;购物车:3
3) 提交评分方式:
参赛者完成用户品牌偏好预测后,需要将结果放入指定格式的数据表(非分区表)中,要求结果表名为:t_tmall_add_user_brand_predict_dh,
包含user_id和brand两列。其中brand字段为预测的偏好品牌ID,多个品牌之间用逗号(",")分隔。
例如:
![](https://i-blog.csdnimg.cn/blog_migrate/f0d17e8b9b6cca6a623ad4b89146130f.jpeg)
主要操作在阿里自己的天池上,上面搭载ODPS平台,可以像sql语言一样操作数据表,同时有MAP-Reduce可以完成一些分布式运算,和hadoop有类似之处,还有自带的一些xlab工具,已经封装了一个功能,比如对表数据进行LR和随机森林的运算都可以直接通过相应的按钮和配置参数完成
其实对我而言,参加比赛对于结果还是不太在意的,但是阿里的赛制很有特色,他不是扔出来一个题目就结束了,比赛持续了四个月,在这四个月里,虽然也有很多别的重要的事情,但是由于淘汰赛制,一直督促自己学习,虽然不是这个相关专业,但是学会了推荐系统的一些基础算法
为了写出更简洁的代码,更专注于算法而非语言本身,学习了python
为了了解更多的算法,看完了好几本推荐算法相关的书籍,虽然名次并不高,但是我想我已经赢了!
之后就开始总结我学到的一些内容,和大家分享