【JAVA实现】基于皮尔逊相关系数的相似度计算

最新推荐文章于 2024-05-19 18:40:03 发布
最新推荐文章于 2024-05-19 18:40:03 发布
阅读量1w 收藏 9
点赞数
分类专栏： 机器学习 java 文章标签： 机器学习 java 威尔逊相似度计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/C_son/article/details/43876479
版权

       最近在看《集体智慧编程》，相比其他机器学习的书籍，这本书有许多案例，更贴近实际，而且也很适合我们这种准备学习machine learning的小白。

       这本书我觉得不足之处在于，里面没有对算法的公式作讲解，而是直接用代码去实现，所以给想具体了解该算法带来了不便，所以想写几篇文章来做具体的说明。以下是第一篇，对皮尔逊相关系数作讲解，并采用了自己比较熟悉的java语言做实现。

       皮尔逊数学公式如下，来自维基百科。


       其中，E是数学期望，cov表示协方差

最低0.47元/天 解锁文章
C_son
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
相似度计算公式（皮尔森pearson和余弦）的Java实现
11-20
使用Java 语言，实现了皮尔森和余弦相似度公式，供大家参考。
Java定义相似度算法接口，分别用Pearson相似度算法、欧几里得相似度、余弦相似度算法
m0_57688670的博客
10-23 712
实验内容：用Java定义相似度算法接口，分别用Pearson相似度算法、欧几里得相似度、余弦相似度算法，判断第一列Gl-1数据与其它四列数据（Gl-2,Gl-3,Gl-4,Gl-5）的相似程度，并找出哪一列与Gl-1数据最相似。 Gl-1 GL-2 GL-3 GL-4 GL-5 1.78 1.78 1.89 1.89
L2-005 集合相似度 (25分)
qq_45798109的博客
02-11 1709
给定两个整数集合，它们的相似度定义为：N​c​​ /N​t​​ ×100%。其中N​c​​ 是两个集合都有的不相等整数的个数，N​t​​ 是两个集合一共有的不相等整数的个数。你的任务就是计算任意一对给定集合的相似度。 输入格式： 输入第一行给出一个正整数N（≤50），是集合的个数。随后N行，每行对应一个集合。每个集合首先给出一个正整数M（≤10​^4​​ ），是集合中元素的个数；然后跟M个[0,1...
皮尔逊相关系数 定义+特性+原理+公式+Python示例代码（带详细注释）
最新发布
qq_51929160的博客
05-19 2995
皮尔逊相关系数（Pearson Correlation Coefficient）是统计学中用于衡量两个变量之间线性关系强度和方向的指标，取值范围从-1到1。值为1表示完全正相关，-1表示完全负相关，0表示无线性关系。该系数广泛应用于金融市场分析、基因表达分析和社交网络分析等领域。然而，皮尔逊相关系数仅适用于线性关系，对异常值敏感，因此在实际应用中需要数据预处理和使用其他相关性测量方法来解决这些问题。尽管如此，皮尔逊相关系数仍然是数据科学中重要且常用的工具，具有广泛的应用前景。
Java实现哈希（相似度）算法，用于试题相似度，字符串相似度等场景
一火的专栏
01-13 1733
一、哈希（相似度）算法原理 借鉴hashmap算法找出可以hash的key值，因为我们使用的simhash是局部敏感哈希，这个算法的特点是只要相似的字符串只有个别的位数是有差别变化。那这样我们可以推断两个相似的文本，至少有16位的simhash是一样的。具体选择16位、8位、4位，大家根据自己的数据测试选择。 1、分词，把需要判断文本分词形成这个文章的特征单词。 2、hash，通过hash...
java数组相似度_JAVA实现相似度 要把数库中的记录进行相似度分析 。然后把类似的字符分为一组统计出此字符的次数，...
weixin_39856055的博客
02-12 259
private static int min(int one, int two, int three) {int min = one;if(two < min) {min = two;}if(three < min) {min = three;}return min;}public static int ld(String str1, String str2) {int d[][]; ...
大数据JAVA实现 基于皮尔逊相关系数的相似度
panjiao119的博客
11-04 1771
皮尔逊相关系数理解有两个角度  1. 按照高中数学水平来理解, 它很简单, 可以看做将两组数据首先做Z分数处理之后, 然后两组数据的乘积和除以样本数Z分数一般代表正态分布中, 数据偏离中心点的距离.等于变量减掉平均数再除以标准差.(就是高考的标准分类似的处理)标准差则等于变量减掉平均数的平方和,再除以样本数,最后再开方.  所以, 根据这个最朴素的理解,我们可以将公式依次精简为: 
皮尔逊相关系数（带实例）
06-08
通过这个例子，我们可以看到如何用Python实现皮尔逊相关系数的计算，这对于推荐系统、数据分析等领域非常有用，可以评估用户之间的相似性，或者找出变量间的关联性。同时，了解皮尔逊相关系数的计算原理和应用，能够...
基于Java与协同过滤算法的电影推荐系统设计与实现
05-31
常用的相似度度量有皮尔逊相关系数、余弦相似度以及Jaccard相似度等。系统中会根据实际情况选择合适的相似度计算方法，以找到最相似的用户或电影。 4. **Java编程语言**：Java以其跨平台性和丰富的类库成为开发推荐...
基于Java MapReduce实现物品协同过滤算法【100012582】
05-31
一种常用的相似度计算方法是皮尔逊相关系数或余弦相似度。 4. **物品相似度计算**：为了计算物品i和j的相似度，我们需找出所有同时被用户评价过的物品集合，并计算这些物品的评分差异。然后，使用这些差异来计算...
基于用户协同过滤算法代码实现Java
04-08
- **相似度计算**：在UCF中，通常使用余弦相似度或皮尔逊相关系数来衡量用户之间的相似性。当计算两个用户u和v的相似度时，会考虑他们共同评价过的电影，并根据他们的评分计算相似度。 - **预测评分**：对于目标...
JAVA实现基于皮尔逊相关系数的相似度详解
08-28
主要介绍了JAVA实现基于皮尔逊相关系数的相似度详解，具有一定参考价值，需要的朋友可以了解下。
Java字符串相似度：各种字符串相似度和距离算法的实现：Levenshtein，Jaro-winkler，n-Gram，Q-Gram，Jaccard索引，最长公共子序列编辑距离，余弦相似度..
02-02
Java字符串相似度 一个实现不同字符串相似度和距离度量的库。 当前实现了十二种算法（包括Levenshtein编辑距离和同级，Jaro-Winkler，最长公共子序列，余弦相似性等）。 查看下面的摘要表以获取完整列表... 下载 使用Maven： <dependency> <groupId>info.debatty</groupId> <artifactId>java-string-similarity</artifactId> <version>RELEASE</version> </dependency> 或检查。 该库需要Java 8或更高版本。 总览 下面介绍了每种已实现算法的主要特征。 “成本”列给出了计算成本的估算值，以分别计算长度为m和n的两个字符串之间的相似度。 归一化？ 公制？ 类型 成本 典型用法 距离 没有 是 O（米* n） 1 距离相似 是 没有 O（米* n） 1 距离 没有 没有 O（米* n） 1 光学字符识别 3 距离 没有 是 O（米* n） 1 3 距离 没有 没有 O（米* n） 1 相似距离 是
【JAVA实现】基于皮尔逊相关系数的相似度
用时间去蜕变
01-17 5730
以下解释摘自于网上， 简单易懂特地摘抄过来 原链接 皮尔逊相关系数理解有两个角度 1. 按照高中数学水平来理解, 它很简单, 可以看做将两组数据首先做Z分数处理之后, 然后两组数据的乘积和除以样本数Z分数一般代表正态分布中, 数据偏离中心点的距离.等于变量减掉平均数再除以标准差.(就是高考的标准分类似的处理)标准差则等于变量减掉平均数的平方和,再除以样本数,最后再开方. 所以, 根据这个最朴素的
Java实现皮尔逊相关系数(Pearson)及T检验
miaoyibo12的博客
09-24 3269
皮尔逊相关系数的T检验。
java 皮尔逊相关系数_皮尔逊相关系数
weixin_42509267的博客
02-16 1144
皮尔逊相关系数又称为简单相关系数，英文名称：pearsoncorrelationcoefficient，它描述了两个定距变量间联系的紧密程度(线性关系)。样本的简单相关系数一般用R表示，计算公式为：其中N为样本量。R描述的是两个变量间线性相关强弱的程度。R的取值在-1与+1之间，若R＞0，表明两个变量是正相关，即一个变量的值越大，另一个变量的值也会越大；若R＜0，表明两个变量是负相关，即一个变量的...
java实现皮尔逊相关系数
maluhanx的博客
04-13 3821
皮尔逊相关系数的定义为两个变量之间的协方差和标准差的商公式如下：上式定义了总体相关系数，常用希腊小写字母  作为代表符号。估算样本的协方差和标准差，可得到皮尔逊相关系数，常用英文小写字母  代表：化简为单流程计算公式为：使用java实现如下：private double caculatePearson(Map&lt;BigInteger, Double&gt; mapX, Map&lt;BigIn...
用java实现皮尔逊相关系数计算
weixin_43861785的博客
10-21 2502
用java实现皮尔逊（Pearson）相关系数计算 最近公司需要把matlab计算公式放在java上实现，本片将验证过可用的代码整理分享给各位。 package success; import java.util.List; /** * 皮尔逊相关系数 */ public class PearsonDemo { public static void main(String[] args) { test(); } private static void test
利用java批量求相关系数（pearson相关系数）（一）
Essence
06-24 3739
临近期末复习统计学，没复习完感觉自己十分憋屈，总想干点别的什么，敲个代码玩玩吧。pearson相关系数的计算参考：https://blog.csdn.net/Anglebeat/article/details/40299273（这个参考地址的代码有一点错误）我在这里指出具体错误，他的temp重复计算了。前面代码我是直接抄的上面那个博客的，稍微做了一下他的错误的修改，所以作者和姓名我都懒得改了（尊重...
java实现经典的协同过滤算法 使用皮尔逊系数
06-13
好的，针对您的问题，以下是Java实现经典的协同过滤算法使用皮尔逊系数的步骤： 步骤1：加载数据集 首先，我们需要加载一个包含用户偏好数据的数据集。该数据集通常包含用户对物品的评分。例如，以下是一个包含用户对电影的评分数据集： userId movieId rating 1 101 5.0 1 102 3.0 1 103 2.5 2 101 2.0 2 102 2.5 2 103 5.0 3 101 2.5 3 103 3.0 3 104 3.5 步骤2：计算用户之间的相似度 接下来，我们使用皮尔逊系数来计算用户之间的相似度。皮尔逊系数是一种衡量两个变量之间线性相关性的方法。在协同过滤中，我们使用皮尔逊系数来计算用户之间的相似度，从而推荐物品。以下是计算用户之间相似度的Java代码： public static double pearsonCorrelationScore(Map<String, Map<String, Double>> data, String user1, String user2) { Map<String, Double> user1Ratings = data.get(user1); Map<String, Double> user2Ratings = data.get(user2); double sum1 = 0, sum2 = 0, sum1Sq = 0, sum2Sq = 0, pSum = 0; int n = 0; for (String item : user1Ratings.keySet()) { if (user2Ratings.containsKey(item)) { n++; double rating1 = user1Ratings.get(item); double rating2 = user2Ratings.get(item); sum1 += rating1; sum2 += rating2; sum1Sq += Math.pow(rating1, 2); sum2Sq += Math.pow(rating2, 2); pSum += rating1 * rating2; } } if (n == 0) { return 0; } double num = pSum - (sum1 * sum2 / n); double den = Math.sqrt((sum1Sq - Math.pow(sum1, 2) / n) * (sum2Sq - Math.pow(sum2, 2) / n)); if (den == 0) { return 0; } return num / den; } 步骤3：寻找与当前用户最相似的用户 接下来，我们需要找到与当前用户最相似的用户。我们可以使用步骤2中的pearsonCorrelationScore函数来计算用户之间的相似度，并将它们作为键值对存储在一个Map中。以下是Java代码： public static List<String> findSimilarUsers(Map<String, Map<String, Double>> data, String user) { List<String> similarUsers = new ArrayList<>(); Map<String, Double> scores = new HashMap<>(); for (String otherUser : data.keySet()) { if (!otherUser.equals(user)) { double score = pearsonCorrelationScore(data, user, otherUser); if (score > 0) { scores.put(otherUser, score); } } } similarUsers.addAll(scores.keySet()); Collections.sort(similarUsers, (u1, u2) -> scores.get(u2).compareTo(scores.get(u1))); return similarUsers; } 步骤4：推荐物品给用户 最后，我们可以使用与当前用户最相似的用户的历史评分数据来推荐物品给用户。我们可以计算当前用户没有评分的物品的加权评分，并将它们按照评分从高到低排序，以便为用户提供推荐物品。以下是Java代码： public static List<String> getRecommendations(Map<String, Map<String, Double>> data, String user) { List<String> recommendations = new ArrayList<>(); Map<String, Double> scores = new HashMap<>(); Map<String, Double> totals = new HashMap<>(); for (String otherUser : findSimilarUsers(data, user)) { Map<String, Double> otherUserRatings = data.get(otherUser); for (String item : otherUserRatings.keySet()) { if (!data.get(user).containsKey(item)) { double score = pearsonCorrelationScore(data, user, otherUser) * otherUserRatings.get(item); scores.put(item, scores.getOrDefault(item, 0.0) + score); totals.put(item, totals.getOrDefault(item, 0.0) + pearsonCorrelationScore(data, user, otherUser)); } } } for (String item : scores.keySet()) { double score = scores.get(item); double total = totals.get(item); recommendations.add(item + ": " + (total > 0 ? score / total : 0)); } Collections.sort(recommendations, (r1, r2) -> Double.compare(Double.parseDouble(r2.split(": ")[1]), Double.parseDouble(r1.split(": ")[1]))); return recommendations; } 以上就是Java实现经典的协同过滤算法使用皮尔逊系数的步骤。希望对您有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值