xLearn---机器学习（CTR预估）中处理大规模稀疏数据的杀器

1、xLearn框架介绍

liblinear、libfm和libffm这三个框架好像来自台湾国立大学团队研发，xLearn同样来自这个团队。

xLearn就是专为处理大规模稀疏数据而生的，广泛应用于如广告点击率预测、推荐系统等。且xLearn的性能优于libffm、libfm和liblinear

总的来说xLearn是libffm、libfm和liblinear这三个框架的综合，且计算性能提高了不止一个档次，所以能不使用xLearn？

性能比较如下所示：

       

 

2、xLearn的安装

对于win10操作系统，它的安装及其简单，在pyCharm平台下-->找到当前项目的interpreter-->点击添加-->搜索框中输入xLearn，点击Install即可完成安装。

    

3、xLearn的Python实现

采用xLearn中的FFM算法进行Criteo在线广告预测。

import xlearn as xl

# Training task
ffm_model = xl.create_ffm() # Use field-aware factorization machine
ffm_model.setTrain("./small_train.txt")  # Training data
ffm_model.setValidate("./small_test.txt")  # Validation data

# param:
#  0. binary classification
#  1. learning rate: 0.2
#  2. regular lambda: 0.002
#  3. evaluation metric: accuracy
param = {'task':'binary', 'lr':0.2, 'lambda':0.002, 'metric':'acc'}

# Start to train
# The trained model will be stored in model.out
ffm_model.fit(param, './model.out')

# Prediction task
ffm_model.setTest("./small_test.txt")  # Test data
ffm_model.setSigmoid()  # Convert output to 0-1

# Start to predict
# The output result will be stored in output.txt
ffm_model.predict("./model.out", "./output.txt")

 

注意：目前xLean主要应用于Mac和Linux环境，在windows环境下运行可能会出现各种奇葩的错误。