关闭

阿里音乐流行趋势预测大赛-赛后思路整理

标签: 阿里音乐流行趋势预测大赛赛后思路整理
1703人阅读 评论(0) 收藏 举报
分类:

赛题介绍

阿里音乐用户的历史播放数据

预测阿里音乐平台艺人的未来60天的播放量

最后top15

1从图入手

查看规律与趋势

2提出问题:

为什么会出现特别高的播放量?

是否有一定的节假日工作日规律?

不同歌手建模还是单独歌手建模或者歌曲建模?

不同歌手趋势是否相同?

3解决问题

为什么会出现特别高的播放量?--发现两种情况:1有人刷单2有新歌发布

是否有一定的节假日工作日规律?--除去特殊情况,大致有周期性节假日特征,周六日播放量会比工作日低

不同歌手建模还是单独歌手建模或者歌曲建模?--不同对象的建模需要实际结果来指导

不同歌手趋势是否相同?--不同歌手趋势变化大,需要分开不同趋势预测

4预测过程

1、利用ODPS SQL进行了数据清洗、预处理-删除掉了认为是异常的刷单等噪声数据(这个非常有效)

2、刻画数据的节假日与周期性特点—使用了stl分解预测

3、刻画数据的最近的播放趋势—使用一阶指数平滑预测(训练数据一定得选好)-歌曲建模最好

4、使用组合模型

5、针对预测误差进行模型参数修正-训练集的修正

6、针对预测误差的个体进行分析总结出模型的缺陷(对最近有新歌的歌手预测不准)-测试集选的34有一定的指导意义,和线上不完全一致

7、针对模型的缺陷选择合适的模型去解决该问题(拟合最近有新歌的歌手的播放量下降到稳定的趋势)

8、针对模型的缺陷-对于最近有新歌播放的歌手,利用去噪声平滑,融合平滑后数据的调和平均数。


源码地址:https://github.com/lytforgood/MLCompetition/tree/master/阿里音乐预测


0
0
查看评论

[天池竞赛系列]阿里音乐流行趋势预测大赛初赛三等奖思路

第一赛季8名,第二赛季11名 主要使用模型和规则 预处理:过滤异常用户的操作记录,比如一整天都听同一首歌,疯狂下载歌的等等 构建样本:对每个歌手建模,每一天的播放数据为一个样本,会出现很多突然的波动,使用7点平滑 特征:因为是对每个歌手建模,所以不用考虑歌手特征,全部使用时间特征 工作日,节假日,...
  • Bryan__
  • Bryan__
  • 2016-08-04 19:17
  • 4014

教你用深度学习LSTM网络预测流行音乐趋势(附代码)

来源:大数据挖掘DT数据分析 本文长度为1500字,建议阅读5分钟 本文为你介绍LSTM网络原理及其在流行音乐趋势预测赛题中的应用。 后台回复关键词“音乐”,下载完整代码及数据集 一、 LSTM网络原理 1.1 要点介绍 LSTM网络用来处理带...
  • tMb8Z9Vdm66wH68VX1
  • tMb8Z9Vdm66wH68VX1
  • 2017-12-11 00:00
  • 353

阿里音乐流行趋势预测大赛一起做-(6)小结

最近一直在忙毕业的事情,比赛也落下不少。今天第一次切换了数据,在此对之前的工作做个简单的总结。感谢组委会岱月邀请我写自己的参赛经历,《天池小白成长记》在阿里的“天池大数据科研平台”上发布了,还是蛮激动的。好啦,进入正题!扒一扒别人的方法在论坛和QQ群里看到有部分同学透露自己的方法,我就顺道记下来啦,...
  • electech6
  • electech6
  • 2016-06-07 14:59
  • 3399

那些GitHub上很有名气的大牛们

有空没事儿,多去gitHub上看一些有营养很高端的很新鲜的学习资料,不断提升自己,既然我们不能Create,那么我们就Recreate吧
  • slandkiss
  • slandkiss
  • 2016-01-20 09:34
  • 3110

对机器学习与数据竞赛的一些总结

应导师要求,给新来的师弟师妹讲讲机器学习的一些东西,方便有个大概的结构,本人不才,略写点自己的看法和总结,有错误之处请多多指教。回顾比赛最近半年参加的比赛成绩:1. 阿里音乐流行趋势预测大赛 2016.5.17-7.15 Top 15/5476 2. 最后一公里极速配送 2016.7...
  • q383700092
  • q383700092
  • 2016-12-23 21:47
  • 2664

深度学习之LSTM实现

LSTM之keras实现 TensorFlow之LSTM LSTM之keras实现 import numpy as np np.random.seed(2017) #为了复现 from __future__ import print_function from keras.d...
  • q383700092
  • q383700092
  • 2017-09-15 15:38
  • 598

xgboost使用调参

github:https://github.com/dmlc/xgboost 论文参考:http://www.kaggle.com/blobs/download/forum-message-attachment-files/4087/xgboost-paper.pdf 基本思路及优点 ht...
  • q383700092
  • q383700092
  • 2016-12-20 15:14
  • 11364

阿里音乐流行趋势预测大赛 # 第一赛季第21名解决方案

强调内容# 欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown...
  • zxjhdn
  • zxjhdn
  • 2016-07-19 17:28
  • 2485

阿里音乐流行趋势预测大赛一起做-(7)初赛总结之用户分类

音乐预测大赛的初赛今天轰轰烈烈地谢幕了,先来看看排名前10的队伍吧 我们队的成绩在切换数据后一直没有特别大的长进,虽然成绩没有达到预期,但是初赛这些天还是涌现并实现了一些不错的思路,有一些还没有来得及实现或者优化,相比去年资金预测时候的我们已经有很大进步啦(自我安慰)。看到群里不少人在询问大神...
  • electech6
  • electech6
  • 2016-06-14 13:12
  • 2852

阿里音乐流行趋势预测大赛—浅尝辄止(二)

本篇博文接上一篇博文浅尝辄止(一)的内容,这里主要介绍竞赛给的数据中时间戳的处理方法,时间戳是形如“1426406400”形式的一组时间计数,我们需要将其转化为正常的时分秒的形式,然后再将转化后的结果写入到csv文件当中去,最后我们得到的转换前的和转换后的文件内容形式如下:
  • qq_14959801
  • qq_14959801
  • 2016-07-28 14:23
  • 407
    个人资料
    • 访问:198409次
    • 积分:3168
    • 等级:
    • 排名:第12865名
    • 原创:157篇
    • 转载:17篇
    • 译文:0篇
    • 评论:43条
    github地址
    https://github.com/lytforgood
    最新评论