机器学习——推荐算法

推荐算法

$n_u:$用户数量
$n_m:$电影数量
$n:$电影特征数量
$x^i=(x_1^i,x_2^i,...,x_n^i{)}^T$:电影i的特征矩阵
$y^{(i,j)}:$用户j对电影i的评分
$r(i,j):$用户j是否对电影i进行打分，打分了为1，未打分为0
预测用户j对电影i的评分：$w^j\cdot x^i+b^j$
                      

学习$w^j,b^j$:
成本函数:$J(w^j,b^j)=\frac{1}{2m^j}{\sum }_{i,r(i,j)=1}(w^j\cdot x^i+b^j-y^{(i,j)}{)}^2+\frac{\lambda }{2m^j}{\sum }_{k=1}^n(w^j{)}^2$
$J(w^j,b^j)=\frac{1}{2}{\sum }_{i,r(i,j)=1}(w^j\cdot x^i+b^j-y^{(i,j)}{)}^2+\frac{\lambda }{2}{\sum }_{k=1}^n(w^j{)}^2$
$w:min\frac{1}{2}{\sum }_{j=1}^{n_u}{\sum }_{i,r(i,j)=1}(w^j\cdot x^i+b^j-y^{(i,j)}{)}^2+\frac{\lambda }{2}{\sum }_{j=1}^{n_u}{\sum }_{k=1}^n(w^j{)}^2$
                        

学习$x^j$:
成本函数:$x:min\frac{1}{2}{\sum }_{i=1}^{n_m}{\sum }_{i,r(i,j)=1}(w^j\cdot x^i+b^j-y^{(i,j)}{)}^2+\frac{\lambda }{2}{\sum }_{i=1}^{n_m}{\sum }_{k=1}^n(x^i{)}^2$
                      

协同过滤算法
相加得到成本函数:$J(w,b,x)=\frac{1}{2}{\sum }_{(i,j),r(i,j)=1}(w^j\cdot x^i+b^j-y^{(i,j)}{)}^2+\frac{\lambda }{2}{\sum }_{j=1}^{n_u}{\sum }_{k=1}^n(w^j{)}^2+\frac{\lambda }{2}{\sum }_{i=1}^{n_m}{\sum }_{k=1}^n(x^i{)}^2$
梯度下求最优解：
$w_i^j=w_i^j-\alpha \frac{ə}{əw_i^j}J(w,b,x)$
$b^j=b^j-\alpha \frac{ə}{əb^j}J(w,b,x)$
$x_k^i=x_k^i-\alpha \frac{ə}{əx_k^i}J(w,b,x)$
                      

推荐标签：1：喜欢/肯定 ，0：不喜欢/否定 ？：还未接触
将推荐算法的线性回归看作逻辑回归，求预测的$w^j\cdot x^i+b^j$为1的概率
将成本函数中的平方误差替换为逻辑回归的误差
$L(f_{(w,b,x)}(x),y^{(i,j)})=-y^{(i,j)}log(f_{(w,b,x)}(x))-(1-y^{(i,j)})log(1-f_{(w,b,x)}(x))$

$J(w,b,x)=\frac{1}{2}{\sum }_{(i,j),r(i,j)=1}L(f_{(w,b,x)}(x),y^{(i,j)})+\frac{\lambda }{2}{\sum }_{j=1}^{n_u}{\sum }_{k=1}^n(w^j{)}^2+\frac{\lambda }{2}{\sum }_{i=1}^{n_m}{\sum }_{k=1}^n(x^i{)}^2$

均值归一化：
将特征矩阵每一项减去其均值：$x=x-\mu$
则预测的电影评分为 $w^j\cdot x^i+b^j+{\mu }_i$
避免当用户的w,b均为0时出现预测值均为0的情况

“电影”的特征$x_1^l,x_2^l$…可能没有具体含义，但可以根据$||x^k-x^l|{|}^2$判断相似的“电影”

基于内容的过滤
$x_u^j$ user j的特征        —计算出—>    $v_u^j$      代表user j有多喜欢电影的某特征
$x_m^i$ movie i的特征     —计算出—>    $v_m^i$     代表movie i的含有多少某特征
则用$v_u^j\cdot v_m^i$来预测评分

分别构造两个神经网络计算$v_u^j和v_m^i$
cost function:$J=\frac{1}{2}{\sum }_{(i,j),r(i,j)=1}(v_u^j\cdot v_m^i-y^{(i,j)}{)}^2$+正则化参数
同样利用$||x^k-x^l|{|}^2$查找相似的“电影”