songbinxu的博客

第二届阿里云安全算法挑战赛经验分享一、简介我在2017年8月参加了这个比赛，比赛分两道子赛题，我和队友分别负责其中一道，我负责的是《扫描爆破拦截》，单题排名5/959，两题综合12/959。原本应该在比赛完就写博客记录的，但事情太多以至于拖延到了现在，找实习的时候翻回从前比赛时期零碎的笔记，才想起来自己原来做过这么些事情，经历过这样的一些思考，还发现了一些纰漏和可以改进的地方。现在重写...

第一届腾讯社交广告高校算法大赛经验分享一、简介  去年的5月，我和两个队友参加了《第一届腾讯社交广告高校算法大赛》，在那之前我们实际上完全没有相关的竞赛经验，三个毫无经验的菜鸟暴力提取特征，凭借训练神经网络的经验玄学调参，竟然也获得了还不错的成绩，最终初赛 10/1000，决赛 39/1000，第一次比赛分工比较混乱，每个人都参与了特征工程和模型调参。初赛和决赛都是线下赛，即用自己的机...

阿里天池（蚂蚁金服）商场中精确定位用户所在店铺经验分享一、简介我在2017年10月至12月参加该比赛，最终排名是 42/2845。写本文的目的，其一是总结与记录本次比赛的实现，其二是反省自身，因为我觉得自己对待比赛的态度有点消极，在连续很多天没有新进展的情况下，逐渐进入了弃疗的状态，尤其是后期乏力，没有竭尽全力，这绝对是不应该的，既然决定了参加比赛就应该有始有终。写下此文，以作警示。...

Pandas groupby 常用功能Pandas groupby 常用功能【sum】key内部求value的和【cumsum】key内部value的累计和【prod】key内部求value的积【mean】key内部求value的均值【max】key内部求value最大值【min】key内部求value最小值【idxmax】key内部value的最大值的index【ran...

用Keras实现一个DeepFM一、数据格式  在设计模型之间，首先要明确数据的格式应该是怎样的。我们假设现在要解决的问题是一个CTR预估问题，数据集是 (X,y)(X,y)(X,y)，每一个样本都是高度稀疏的高维向量。假设我们有两种 field 的特征，连续型和离散型，连续型 field 一般不做处理沿用原值，离散型一般会做One-hot编码。离散型又能进一步分为单值型和多值型，单值...

3Idiots-2014-Kaggle比赛源码走读  最近在研究ffm，自然要找回3Idiots在2014年kaggle比赛的解决方案。主要是研究他们的特征提取方案，写下此文记录走读大佬代码的过程，目的是方便以后查询，免得忘记。3Idiots代码下载git clone https://github.com/guestwalk/kaggle-2014-criteo.git特征取值...

并行转换csv文件为libffm格式  在使用libffm或者xlearn时，需要数据文件是libffm格式的，而我们一般拿到的数据都是csv格式或类csv格式的，所以需要转换。最简单的做法是把csv一行一行地读入，然后对每个特征进行编码处理，然后拼接成完整的一行，但是这样做是在是太慢了。本文参考这里，提取出最核心的部分，给出一种并行转换libffm文件的方法，然后对并行后节省的时间进行评估。...