基于用户行为的推荐系统

               

最近在做一个广告推荐系统，要求是根据用户的访问记录对用户进行分组并按组推送广告。其实很多网上商城都有这功能，诸如淘宝京东这些。要实现其实并不算多复杂，主要有一个几个步骤，首先是提取特征，然后是聚类，最后是分类。

1、特征提取

先来说说特征提取，这应该是最重要的一步，很多人虽然知道一大堆算法可以用，但是具体应用时发现给你的数据完全不是一眼就能看出特征的。这里的提供的数据是用户的访问日志，格式如下：

样本数据如下，这里只列出三条数据：

1,"20130424000001ceaf2aa2","121.205.153.254","a486f2d7-d480-4d0c-8b7d-17df77072e8b","83B5BBEF83E120F91563E2700F28147E","0","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727)","http://www.it168.com/","http://www.ehaier.com/subject/leader201304.html?utm_source=IT168&utm_content=ShouYe&utm_medium=TongLanErQu&utm_campaign=7565516&smt_b=C0B0A09080706059E46F00C","2013-04-24 00:00:01"2,"20130424000001ae40bf83","114.218.90.77","792b2d50-8f0d-4273-aefd-dca08879d842","6B752535B086612B93CC08B84FE5E209","0","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)","http://www.it168.com/","http://www.ehaier.com/subject/leader201304.html?utm_source=IT168&utm_content=ShouYe&utm_medium=TongLanErQu&utm_campaign=7565516&smt_b=C0B0A09080706059E46F00C","2013-04-24 00:00:01"3,"20130424000001a81c1ef3","60.162.151.117","64be2f61-a111-4378-8f13-e65ceb07303a","9C583F3DD38E3F49C6F09F35404D7008","0","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 534; QQDownload 661; .NET CLR 2.0.50727)","http://www.it168.com/","http://www.ehaier.com/subject/leader201304.html?utm_source=IT168&utm_content=ShouYe&utm_medium=TongLanErQu&utm_campaign=7565516&smt_b=C0B0A09080706059E46F00C","2013-04-24 00:00:01"

现在要从这种数据里面提取出用户特征，是不是需要费一番脑筋？其实这些数据中我们只需要两个字段的数据即可，一个是用户标识，一个是用户浏览的目标url。当然，这只是简单做法，利用其他字段信息说不定会有更好的效果。

总之，用户标识我们可以选择第4个字段，user_global_ticket，url就是loc_url了。但是这里显然也不能直接把url作为每个用户的特征，有些url例如访问主页的根本没有体现出用户的爱好，我们需要找到那些访问产品的url，例如查看某类手机的url就能表明该用户说不定是个数码控，所以对url进行过滤，找出仅包含product信息的url。

找到这些url之后，我们发现如果把某个商品作为特征要统计的实在是太多了，再说我们也并不需要精确到某个商品，只需要确定是那种商品即可。于是我们根据url product后面跟的标识商品的数字去数据库中查找该商品属于哪个类别，把类别作为用户的标识。

例如针对http://www.ehaier.com/product/1871.html  去数据库中查找1871商品对应的类别，查出来是2347类（数码类），就把2347作为该用户的一个特征。这可以用正则表达式外加数据库查询实现。提取类别信息后的数据如下：

得到类别信息后对类别总数进行统计，得到一个用户类别矩阵，其中一行代表一个用户，一列代表一个类别信息，每一个位置就是用户访问该类别网址的次数，为了规格化数据，对数据进行归一化是必要的，这里采用的是余弦归一化方法，得到的数据如下。

可以矩阵中很多位置都是0，这是因为某个用户完全没有访问过该类的任何产品导致的。经过这样处理以后，特征我们就提取出来了。

2、聚类

在聚类的时候我们可以用weka提供的库（貌似只支持java），只需要提供输入输出和设定一些参数即可，很是方便，下面是对数据进行kmeans聚类的代码：

package cn.pezy.lightning.clustering;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.FileReader;import java.io.FileWriter;import weka.clusterers.SimpleKMeans;import weka.core.Instances;import weka.core.converters.ConverterUtils.DataSource;import weka.filters.Filter;import weka.filters.unsupervised.attribute.Remove;// k-means clusterpublic class UserBehaviourClusterKmeans {  private Instances instances;  private String sourceFile;  private String targetFile;  private int kNumber;  private