用java实现皮尔逊相关系数计算

用java实现皮尔逊(Pearson)相关系数计算

最近公司需要把matlab计算公式放在java上实现,本片将验证过可用的代码整理分享给各位。

package success;

import java.util.List;

/**
 * 皮尔逊相关系数
 */
public class PearsonDemo {
    public static void main(String[] args) {
        test();
    }
    private static void test(){
        /*用于测试*/
        double[] x = new double[] { 38 ,13 ,27, 25, 18, 29, 30, 20, 23, 32, 38, 28, 34, 19, 20, 25, 16, 36, 25, 17, 24, 18, 30, 35, 22, 34, 12, 26, 29, 21};
        //double[] y = new double[] { 49 ,42, 45, 39, 30, 25, 39, 36, 39 ,45, 42, 50, 36, 48, 35, 42, 45, 29, 33, 27, 42, 43, 27, 39, 37, 36, 47, 37, 44, 34};
        double[] y = new double[] {114, 49, 84, 79, 87, 74, 77, 82, 80, 88, 123, 82, 98, 65, 61, 78, 51, 121, 78, 50, 75, 65, 113, 122, 78, 119, 45, 89, 102, 75};
        double score = getPearsonCorrelationScore(x, y);
        System.out.println(score);//0.6350393282549671
    }

    public static double getPearsonCorrelationScore(List<Double> x, List<Double> y) {
        if (x.size() != y.size())
            throw new RuntimeException("数据不正确!");
        double[] xData = new double[x.size()];
        double[] yData = new double[x.size()];
        for (int i = 0; i < x.size(); i++) {
            xData[i] = x.get(i);
            yData[i] = y.get(i);
        }
        return getPearsonCorrelationScore(xData,yData);
    }

    public static double getPearsonCorrelationScore(double[] xData, double[] yData) {
        if (xData.length != yData.length)
            throw new RuntimeException("数据不正确!");
        double xMeans;
        double yMeans;
        double numerator = 0;// 求解皮尔逊的分子
        double denominator = 0;// 求解皮尔逊系数的分母

        double result = 0;
        // 拿到两个数据的平均值
        xMeans = getMeans(xData);
        yMeans = getMeans(yData);
        // 计算皮尔逊系数的分子
        numerator = generateNumerator(xData, xMeans, yData, yMeans);
        // 计算皮尔逊系数的分母
        denominator = generateDenomiator(xData, xMeans, yData, yMeans);
        // 计算皮尔逊系数
        result = numerator / denominator;
        return result;
    }

    /**
     * 计算分子
     *
     * @param xData
     * @param xMeans
     * @param yData
     * @param yMeans
     * @return
     */
    private static double generateNumerator(double[] xData, double xMeans, double[] yData, double yMeans) {
        double numerator = 0.0;
        for (int i = 0; i < xData.length; i++) {
            numerator += (xData[i] - xMeans) * (yData[i] - yMeans);
        }
        return numerator;
    }

    /**
     * 生成分母
     *
     * @param yMeans
     * @param yData
     * @param xMeans
     * @param xData
     * @return 分母
     */
    private static double generateDenomiator(double[] xData, double xMeans, double[] yData, double yMeans) {
        double xSum = 0.0;
        for (int i = 0; i < xData.length; i++) {
            xSum += (xData[i] - xMeans) * (xData[i] - xMeans);
        }
        double ySum = 0.0;
        for (int i = 0; i < yData.length; i++) {
            ySum += (yData[i] - yMeans) * (yData[i] - yMeans);
        }
        return Math.sqrt(xSum) * Math.sqrt(ySum);
    }

    /**
     * 根据给定的数据集进行平均值计算
     *
     * @param
     * @return 给定数据集的平均值
     */
    private static double getMeans(double[] datas) {
        double sum = 0.0;
        for (int i = 0; i < datas.length; i++) {
            sum += datas[i];
        }
        return sum / datas.length;
    }
}

  • 3
    点赞
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,针对您的问题,以下是Java实现经典的协同过滤算法使用皮尔逊系数的步骤: 步骤1:加载数据集 首先,我们需要加载一个包含用户偏好数据的数据集。该数据集通常包含用户对物品的评分。例如,以下是一个包含用户对电影的评分数据集: userId movieId rating 1 101 5.0 1 102 3.0 1 103 2.5 2 101 2.0 2 102 2.5 2 103 5.0 3 101 2.5 3 103 3.0 3 104 3.5 步骤2:计算用户之间的相似度 接下来,我们使用皮尔逊系数来计算用户之间的相似度。皮尔逊系数是一种衡量两个变量之间线性相关性的方法。在协同过滤中,我们使用皮尔逊系数来计算用户之间的相似度,从而推荐物品。以下是计算用户之间相似度的Java代码: public static double pearsonCorrelationScore(Map<String, Map<String, Double>> data, String user1, String user2) { Map<String, Double> user1Ratings = data.get(user1); Map<String, Double> user2Ratings = data.get(user2); double sum1 = 0, sum2 = 0, sum1Sq = 0, sum2Sq = 0, pSum = 0; int n = 0; for (String item : user1Ratings.keySet()) { if (user2Ratings.containsKey(item)) { n++; double rating1 = user1Ratings.get(item); double rating2 = user2Ratings.get(item); sum1 += rating1; sum2 += rating2; sum1Sq += Math.pow(rating1, 2); sum2Sq += Math.pow(rating2, 2); pSum += rating1 * rating2; } } if (n == 0) { return 0; } double num = pSum - (sum1 * sum2 / n); double den = Math.sqrt((sum1Sq - Math.pow(sum1, 2) / n) * (sum2Sq - Math.pow(sum2, 2) / n)); if (den == 0) { return 0; } return num / den; } 步骤3:寻找与当前用户最相似的用户 接下来,我们需要找到与当前用户最相似的用户。我们可以使用步骤2中的pearsonCorrelationScore函数来计算用户之间的相似度,并将它们作为键值对存储在一个Map中。以下是Java代码: public static List<String> findSimilarUsers(Map<String, Map<String, Double>> data, String user) { List<String> similarUsers = new ArrayList<>(); Map<String, Double> scores = new HashMap<>(); for (String otherUser : data.keySet()) { if (!otherUser.equals(user)) { double score = pearsonCorrelationScore(data, user, otherUser); if (score > 0) { scores.put(otherUser, score); } } } similarUsers.addAll(scores.keySet()); Collections.sort(similarUsers, (u1, u2) -> scores.get(u2).compareTo(scores.get(u1))); return similarUsers; } 步骤4:推荐物品给用户 最后,我们可以使用与当前用户最相似的用户的历史评分数据来推荐物品给用户。我们可以计算当前用户没有评分的物品的加权评分,并将它们按照评分从高到低排序,以便为用户提供推荐物品。以下是Java代码: public static List<String> getRecommendations(Map<String, Map<String, Double>> data, String user) { List<String> recommendations = new ArrayList<>(); Map<String, Double> scores = new HashMap<>(); Map<String, Double> totals = new HashMap<>(); for (String otherUser : findSimilarUsers(data, user)) { Map<String, Double> otherUserRatings = data.get(otherUser); for (String item : otherUserRatings.keySet()) { if (!data.get(user).containsKey(item)) { double score = pearsonCorrelationScore(data, user, otherUser) * otherUserRatings.get(item); scores.put(item, scores.getOrDefault(item, 0.0) + score); totals.put(item, totals.getOrDefault(item, 0.0) + pearsonCorrelationScore(data, user, otherUser)); } } } for (String item : scores.keySet()) { double score = scores.get(item); double total = totals.get(item); recommendations.add(item + ": " + (total > 0 ? score / total : 0)); } Collections.sort(recommendations, (r1, r2) -> Double.compare(Double.parseDouble(r2.split(": ")[1]), Double.parseDouble(r1.split(": ")[1]))); return recommendations; } 以上就是Java实现经典的协同过滤算法使用皮尔逊系数的步骤。希望对您有所帮助!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值