[学习笔记]数据挖掘-week8

推荐算法

学习视频：80240372X 数据挖掘：理论与算法（自主模式）

大致分为两类算法：基于内容推荐，基于协同过滤推荐。以买书为例，基于内容的推荐算法会根据该书的内容，作者等信息推荐其他书籍。基于协同过滤的推荐算法会推荐我“朋友”所认为好的书。

TF-IDF

$$\begin{array}{rl}& tf(t,d)=\frac{n_{t,d}}{{\sum }_k{n}_{k,d}}\\ & idf(t,D)=\log \frac{|D|}{|d\in D:t\in d|}\end{array}$$

d为单个文档，D为所有文档，t为目标词汇，k为文档中词汇，idf的分母为包含特定搜索词的文档的个数。

$$\begin{array}{r}tf-idf(t,d,D)=tf(t,d)\times idf(t,D)\end{array}$$

实际操作过程中会将所有文档整合成一个文档矩阵，行代表某个词汇，列代表某个文档，矩阵中的元素表示某个词汇在某个文档中出现的次数。

Vector Space Model

文档用向量表示后，即可用向量间的计算来查看文档的相似度。

$$\begin{array}{r}sim(p,q)=cos(\theta )=\frac{p\cdot q}{|p|\cdot |q|}\end{array}$$

但是，由于近义词与多义词的问题，导致难以操作。

Collaborative Filtering

协同过滤算法在最开始时，会有一个打分矩阵，每一行为一个用户，每一列为某件商品，矩阵元素为该用户对商品的评分。

	I1	I2	I3
U1		0	2
U2	3	45

计算两个用户之间的相关性：

$$\begin{array}{r}{W}_{u,v}=\frac{{\sum }_{i\in I}(r_{u,i}-{\bar{r}}_u)(r_{v,i}-{\bar{r}}_v)}{\sqrt{{\sum }_{i\in I}(r_{u,i}-{\bar{r}}_u{)}^2}\sqrt{{\sum }_{i\in I}(r_{v,i}-{\bar{r}}_v{)}^2}}\end{array}$$

通过相关性预测用户a对商品i的打分：

$$\begin{array}{r}{P}_{a,i}={\bar{r}}_a+\frac{{\sum }_{u\in U}(r_{u,i}-{\bar{r}}_u)\cdot W_{a,u}}{{\sum }_{u\in U}|W_{a,u}|}\end{array}$$

$\bar{r}$为某个用户对所有商品打分的平均值（只计算打了分数的商品）。该方式为User-Based CF，计算的是行与行之间的相关性。同样可以计算列于列之间的相关性，对应的方式为Item-Based CF。

$$\begin{array}{rl}& W_{i,j}=\frac{{\sum }_{u\in U}(r_{u,i}-{\bar{r}}_i)(r_{u,j}-{\bar{r}}_j)}{\sqrt{{\sum }_{u\in U}(r_{u,i}-{\bar{r}}_i{)}^2}\sqrt{{\sum }_{u\in U}(r_{u,j}-{\bar{r}}_j{)}^2}}\\ & P_{a,i}=\frac{{\sum }_{j\in I}{W}_{i,j}\cdot r_{a,j}}{{\sum }_{j\in I}|W_{i,j}|}\end{array}$$