【机器学习】使用tensorflow 实现协同过滤算法

事实证明，通过将不同电影评分的均值归一化为0，优化算法推荐的系统也会运行得更快一点。

它对于没有评价电影和评价电影数量很少的用户表现更好，预测结果也更合理。

这里我们使用的是对矩阵的每一行标准化为均值为0，对于不同的问题，我们也可以对矩阵的列进行标准化。

比如对于一部没有人看过的电影，想对其进行预测评分，那么对矩阵的列进行标准化效果是比较好的。

二、利用TensorFlow 来实现协同过滤算法

1 构建代价函数

代码如下：

# 方法一（按公式）
def cost_func(X, W, b, Y, R, lambda_):

    nm, nu = Y.shape
    J = 0
  
    for j in range(nu):
        w = W[j, : ]
        b_j = b[0, j]
        
        for i in range(nm):
            x = X[i, : ]
            y = Y[i, j]
            r = R[i, j]
            J += np.square(r * (np.dot(w,x) + b_j - y))
           
            
    J += lambda_*(np.sum(np.square(W)) + np.sum(np.square(X)))       
    J = J/2

    return J



# 方法二 （使用矢量化）
def cost_func(X, W, b, Y, R, lambda_):

    j = (tf.linalg.matmul(X, tf.transpose(W)) + b - Y)*R
    J = 0.5 * tf.reduce_sum(j**2) + (lambda_/2) * (tf.reduce_sum(X**2) + tf.reduce_sum(W**2))
    return J

2 更新参数

Tensor Flow 不仅可以构建神经网络模型，也可以用它来实现协同过滤算法。

其关键点就在于，使用tensorflow可以自动找到代价函数的导数。这是tensorflow 的一个非常强大的功能，称为AuTo Diff, 它有时也被叫做AuTo Grad ，但是专业的术语还是AuTo Diff，

而AuTo Grad 其实是做自动微分，自动取倒数的专用软件包的名称

下面使用AuTo Diff来实现上面协同过滤算法的简化例子。

代码如下：

import tensorflow as tf

w = tf.Variable(3.0)  # 告诉tensorflow w 是一个变量，它是我们想要优化的参数

# 设置其他参数
x = 1.0
y = 1.0   # ｙ是目标值
alpha = 0.01

iterations = 30　#迭代次数
for iter in range(iterations):　　　   
    with tf.GradientTape() as tape:   #　使用GradientTape()梯度磁带功能，tensorflow会自动记录步骤顺序，
        fwb = w*x                     # 计算代价J 所需的成本序列,将序列保持在 tape 磁带中
        costJ = (fwb - y)**2
        
[dJdw] = tape.gradient(costJ, [w])   # tensorflow 自动计算w 的倒数

# tensorflow 变量，层变量需要特殊处理，使用assign_add() 函数来更新参数
w.assign_add(-alpha * dJdw)

# 使用tensorflow 的 梯度磁带功能，我们需要做的是告诉它，如何计算代价函数J

正常情况下使用AuTo Diff来实现协同过滤算法

代码如下：

import tensorflow as tf

# 知指定优化器Adams, 设置学习速率
optimizer = keras.optimizers.Adam(learning_rate = 1e-1)

# 设置其他参数
iterations = 200　#迭代次数
for iter in range(iterations):　　　   
    with tf.GradientTape() as tape:   #　使用GradientTape()梯度磁带功能，tensorflow会自动记录步骤顺序，
                                         # 计算代价J 所需的成本序列将序列保持在 tape 磁带中
        cost_value = cofiCostFuncV(X, W, b, Ynorm, R, num_users, num_movies, lambda)  # 提供代码计算代价函数
        
grads = tape.gradient(cost_valuw, [X, W, b])   # tensorflow 自动计算X, W, b 的倒数

#将优化器与刚刚计算的梯度一起使用
optimizer.apply_gradients(zip(grads, [X, W, b]))

三、寻找相关特征

我们学习了每个项目I 的特征x^(i), 它很难明确的学习到各个特征，比如说x1学习到这个电影是否是动作片，x2学习到这个电影是否是美国片等，这些是很难的。

我们将学到的特征，统称为 x1、x2…… 等，表示关于这部电影的某些特征，

虽然学习不到哪些准确的特征，但是找到的这些特征都是与这部电影相关的。

给定项目i的特征x^(i)，如果我们想找到其它项目，比如说与电影i相关的其他电影，那么我们可以做的就是尝试找到项目k的x^(k), 类似于x^(i)。

计算x^(k),与 x^(i)的平方距离，如果计算出来的距离值小的话，那就是相关的特征。

如果我们发现不只是一部电影x^(k) 与 x^(i)之间的距离最小，比如说找到了5个相关的项目，那么如果用户在找某个电影Ii时，我们就可以将这几个相似的电影k推荐给他。

总结

使用tensorflow 来实现协同过滤算法还是比较简单的，因为auto diff 功能可以让计算机自己计算代价函数中的导数值，在进行参数更新时，这无疑是为我们省了不少事。除了协同过滤算法，还有一个推荐算法叫基于内容过滤算法，它可以很好的解决本文所指出的协同过滤算法存在的问题，虽然可以使用均值归一化来解决，但是还是会影响精度，而基于内容过滤算法就可以很好的解决这一点，后面我们会学到。