电子商务网站用户行为分析及服务推荐

一、背景介绍

1、问题描述

   本文主要研究对象是某家法律网站，这是家电子商务类大型法律资讯网站，致力为用户提供丰富的法律信息与专业咨询服务，也为律师与律所提供有效的互联网整合营销解决方案，访问量剧增，数据信息量也大幅增长，面对大量信息用户无法及时从中获得自己需要的信息，信息使用效率越来越低；低效的信息供给是无法满足用户需求的，容易流失客户，基于此背景寻求用户行为分析及服务推荐系统开发。
问题目标分析：
   （1）、 网站用户行为分析，挖掘各种行为特征（针对用户群整体、分群），如访问量、访问页面类别、点击次数、停留时间等。
   （2）、根据用户访问需求特征（习惯），更加高效、人性化的服务推荐（推荐高关联度的、热门的、未浏览过的等）。

2、实验目的：

   （1）、了解协同过滤算法在互联网电子商务中的应用以及实现过程。
   （2）、了解 Python 连接数据库的方法，并对其进行操作的过程。主要步骤有 MariaDB 的安装搭建， PyMySQL , SQLAlchemy 的安装，以及 Pandas 读取数据库等。

3、实验内容：

   根据得到用户与物品(访问网页)的记录，通过使用用户与婚姻知识类型和婚姻咨询类型的数据，采用 Python 构建其推荐系统模型。
   （1）python连接数据库：因数据量大，采用 Python 连接数据库的方式抽取数据，并且通过 python 对数据库进行日常的数据操作。
   （2）智能推荐：用户点击网页体现了用户对某些网页的关注程度，利用协同过滤算法能计算出与某些网页相似的网页的相似程度，根据相似程度的高低，将用户未点击过的并且有可能有兴趣的网页推荐给用户，实现智能推荐。

4、实验方法与步骤：

   实验一：利用 Python 连接 MariaDB (MySQL) 数据库，实现对数据的查询、删除、增加等日常操作。
   （1）、打开 Python ，安装 PyMySQL 、SQLAlchemy ，然后连接本地安装的数据库。这样可以用 Pandas 更好地进行数据分析。
   （2）、由于数据库中含有中文内容，需要正确设置连接的编码格式。
   （3）、通过 Pandas 连接数据库后，所进行的数据操作和之前通过read_csv（），read_excel（）函数读取的数据操作并无不同。
   （4）、通过 to_sqlO 方法，处理后的数据保存到数据库中
   实验二：利用 Python 完成推荐系统的模型构建 以及预测推荐结果，并完成模型的评价工作。
   （1）、可自行编写出协同过滤代码，给出预测的推荐结果。
   （2）、采用3种模型对输入数据进行建模，用随机打乱数据验证的方法，获取各个模型在不同的推荐值的情况下的评价指标值，并计算出各个模型下的 Fl 指标。
   （3）、画出3种模型的准确率与召回率的指标图，并将各个指标保存到文本。

二、实验过程

2.1、数据入库

   用MySQL数据库将7law.sql文件导入数据库recomd。可查看数据库中有了数据表all_gzdata。

   该数据表的各个字段如下：

2.2、python连接数据库，并进行各种数据分析

   首先安装SQLAlchemy和PyMySQL库，这样才可以用Pandas的read_sql（）函数读取数据库。因为数据量较大，所以在Pandas读取时，设置了chunksize参数，来分块读取大数据文件。

import pandas as pd
from sqlalchemy import create_engine
engine = create_engine('mysql+pymysql://root:@127.0.0.1:3306/recomd?charset=utf8')
sql = pd.read_sql('all_gzdata', engine, chunksize = 10000)

数据探索分析：
   （1）网页类型分析：（网页ID，fullURLId）咨询相关、知识相关、其他类型（大类及子类分布情况、占比）。
   （2）点击次数分析:(真实IP，realIP)，点击次数分析、点击分布特征、网页类型排名及占比。
   （3）网页排名（点击）：点击网址排名、翻页网页统计。

2.3、数据预处理

在数据探索分析的基础上，发现与分析目标无关或模型需要处理的数据，针对此类数据，其中涉及的数据处理方式有：数据清洗、数据集成和数据变换过这几类的处理方式，将原始数据处理成模型需要的输入数据。

2.3.1、数据清洗

   数据清洗，清洗规则：中间页面的网址、咨询发布成功页面 、律师登录助手的页面，目录网页（带html），与分析无关网站，同一用户同一时间同一网页的重复数据。
   数据库清洗，清洗规则：只要含有.html的网址，包含主网址（lawtime)的中间没有midques_的，保存到数据库中；删除 快车-律师助手，免费发布法律咨询 ，咨询发布成功 ，法律快搜，然后存储数据库中，删除两次。
   筛选：根据分析目标以及探索结果可知，咨询与知识是其主要业务来源，故需筛选咨询与知识相关的记录，将此部分数据作为模型分析需要的数据。

2.3.2、数据变换

   翻页的网址处理：网页需要还原其原始类别，处理方式为首先识别翻页的网址，然后对翻页的网址进行还原，最后针对每个用户访问的页面进行去重操作。
   网页手动分类：因为分析目标是分析咨询类别与知识类别，因此对网址中包含 “ask” “askzt” 关键字的记录人为归类至咨询类别，对网址中包含 “zhishi” 、" faguizt" 关键字的网址归类为知识类别。
   类别细分：因为目标是需要为用户提供个性化的推荐，在处理数据的过程中需要进一步对数据进行分类，大类是由很多小的类别组成 ，由于所提供的原始数据中知识类别无法进行内部分类，故从业务上进行分析，可以采用其网址的构成对其进行分类。
   二八定律，分开推荐：统计分析每一类中的记录，以知识类别中的婚姻法为例进行统计分析，其网页的点击率基本满足二八定律，即 80% 的网页只占了浏览量的 20% 左右，通过这个规则，按点击行为进行分类， 20% 的网页是热点网页，其他 80% 的页面属于点击次数少的。因此在进行推荐过程中，需要将其分开进行推荐，来达到最优的推荐效果。

2.3.3、属性规约

   属性规约：提取模型需要的属性 ，该模型需要的数据属性为用户和用户访问的网页 ，因此删除其他的属性，只选择用户与用户访问的网页（网页就是商品）。

2.4、模型构建

   在实际应用构造推荐系统时，并不是采用单一的推荐方法进行推荐 ，为了实现较好的推荐效果，大部分都结合多种推荐方法将推荐结果进行组合，最后得出推荐结果，在组合推荐结果时，可以采用串行或者并行的方法。协同过滤算法在我的博客有专门讲述，这里不再多说。
   并行组合方法：推荐系统流程图如下

   基于项的协同过滤算法步骤：
   （1）计算物品之间的相似度
   （2）根据物品的相似度和用户的历史行为给用户生成推荐列表
   相似度度量选择：由于用户的行为是二元选择( 0-1 型) ，因此本例在计算物品的相似度过程中采用杰卡德相似系数法。

   相似度矩阵SIM：完成各个物品之间的相似度的计算后，即可构成一个物品之间的相似度矩阵，通过采用相似度矩阵，推荐算法会给用户推荐与其物品最相似的k个物品。采用公式P = R*SIM ，度量了推荐算法中用户对所有物品的感兴趣程度。
   注意：其中R 代表用户对各个物品的兴趣（nxm） ，SIM 代表所有物品之间的相似度,也就是相似度矩阵 （mxm），P为用户对各个物品感兴趣的程度(nxm)，表示该n个用户对m个物品的兴趣度向量组成的矩阵，称为用户-物品评分矩阵。
   模型训练与测试：随机打乱数据，分为10份，进行交叉验证。在训练集上建立模型，测试集上进行预测，统计出相应的评测指标。经过多次独立重复试验，最后将实验测出的评测指标的平均值作为最终的评测指标。下图为建模流程图：

   模型评价：离线测试评测指标，当用户对物品打分时，用均方根误差RMSE，平均绝对误差MAE。当只是喜欢不喜欢的二元情况时，使用准确率P，表示用户对一个被推荐的产品感兴趣的可能性。召回率R，表示一个用户喜欢的产品被推荐的概率。F1分数综合考虑前两者。
   注意：从上述推荐结果的表格中可知，根据用户访问的相关网址，对用户进行推荐 但是其推荐结果存在 nu lI的情况，产生这种情况是由于在目前的数据集中，出现访问此网址的只有单个用户，因此在协同过滤算法中计算它与其他物品的相似度为 ，所以出现无法推荐的情况 一般出现这样的情况，在实际中可以考虑其他的非个性化的推荐方法进行推荐，例如基于关键字、基于相似行为的用户。