ONgDB并发计算节点相似度

最新推荐文章于 2023-08-07 23:59:39 发布
最新推荐文章于 2023-08-07 23:59:39 发布
阅读量1k 收藏 1
点赞数
分类专栏： ONgDB 算法 文章标签： neo4j 数据挖掘 stream
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/superman_xxx/article/details/106159788
版权
ONgDB 同时被 2 个专栏收录
67 篇文章 10 订阅
订阅专栏
算法
43 篇文章 1 订阅
订阅专栏

节点间相似度计算

以下测试均在ongdb完成
在ongdb集群的运行过程中，READ_REPLICA节点只支持运行Mode.READ类型的过程（集群中所有节点都支持Mode.READ类型的过程），需要运行中写入的过程需要在支持写入的节点运行。
并发计算的过程不支持写入，运算得到的结果需要neo4j-stream的支持进行写入，或者额外的插件单独写入。结果的保存也可以放在其它存储系统。
可支持的并发数量与服务器的CPU核数有关系。

一、Jaccard相似度 - algo.similarity.jaccard - Mode.WRITE

杰卡尔德相似度计算更适合在大规模数据下的分布式并行运算

1、创建测试数据

CREATE (a:Person {name:'Alice'})
CREATE (b:Person {name:'Bob'})
CREATE (c:Person {name:'Charlie'})
CREATE (d:Person {name:'Dana'})
CREATE (i1:Item {name:'p1'})
CREATE (i2:Item {name:'p2'})
CREATE (i3:Item {name:'p3'})
CREATE (a)-[:LIKES]->(i1),
 (a)-[:LIKES]->(i2),
 (a)-[:LIKES]->(i3),
 (b)-[:LIKES]->(i1),
 (b)-[:LIKES]->(i2),
 (c)-[:LIKES]->(i3)

2、运行相似度计算

不支持并发计算支持写入

MATCH (p:Person)-[:LIKES]->(i:Item)
WITH {item:id(p), categories: collect(distinct id(i))} as userData
WITH collect(userData) as data
CALL algo.similarity.jaccard(data, {write:true,showComputations:true,similarityCutoff:0.1}) yield p25, p50, p75, p90, p95, p99, p999, p100, nodes, similarityPairs, computations RETURN *

3、相似度计算结果

生成了一条SIMILAR关系线，更新了score属性；很明确可以看到人物节点之间的相似性得分。
在这里插入图片描述

4、algo.similarity.jaccard.stream - Mode.READ

并发计算，不支持写入

MATCH (p:Person)-[:LIKES]->(i:Item)
WITH {item:id(p), categories: collect(distinct id(i))} as userData
WITH collect(userData) as data
call algo.similarity.jaccard.stream(data,{topK:4,concurrency:4,similarityCutoff:-0.1}) yield item1, item2, count1, count2, intersection, similarity RETURN * ORDER BY item1,item2

二、余弦相似度 - algo.similarity.cosine - Mode.WRITE

1、创建测试数据

CREATE (a:Person {name:'Alice'})
CREATE (b:Person {name:'Bob'})
CREATE (c:Person {name:'Charlie'})
CREATE (d:Person {name:'Dana'})
CREATE (i1:Item {name:'p1'})
CREATE (i2:Item {name:'p2'})
CREATE (i3:Item {name:'p3'})
CREATE (a)-[:LIKES {stars:1}]->(i1),
 (a)-[:LIKES {stars:2}]->(i2),
 (a)-[:LIKES {stars:5}]->(i3),
 (b)-[:LIKES {stars:1}]->(i1),
 (b)-[:LIKES {stars:3}]->(i2),
 (c)-[:LIKES {stars:4}]->(i3)

2、运行相似度计算

MATCH (i:Item) WITH i ORDER BY id(i) MATCH (p:Person) OPTIONAL MATCH (p)-[r:LIKES]->(i)
WITH {item:id(p), weights: collect(coalesce(r.stars,0))} as userData
WITH collect(userData) as data
CALL algo.similarity.cosine(data, {write:true,showComputations:true,similarityCutoff:0.1}) yield p25, p50, p75, p90, p95, p99, p999, p100, nodes, similarityPairs, computations RETURN *

3、algo.similarity.cosine.stream - Mode.READ

CALL algo.similarity.cosine.stream([{item:id, weights:[weights]}], {similarityCutoff:-1,degreeCutoff:0})
YIELD item1, item2, count1, count2, intersection, similarity - computes cosine distance

三、Pearson相似度 - algo.similarity.pearson - Mode.WRITE

1、创建测试数据

CREATE (a:Person {name:'Alice'})
CREATE (b:Person {name:'Bob'})
CREATE (c:Person {name:'Charlie'})
CREATE (d:Person {name:'Dana'})
CREATE (i1:Item {name:'p1'})
CREATE (i2:Item {name:'p2'})
CREATE (i3:Item {name:'p3'})
CREATE (i4:Item {name:'p4'})
CREATE (a)-[:LIKES {stars:1}]->(i1),
 (a)-[:LIKES {stars:2}]->(i2),
 (a)-[:LIKES {stars:3}]->(i3),
 (a)-[:LIKES {stars:4}]->(i4),
 (b)-[:LIKES {stars:2}]->(i1),
 (b)-[:LIKES {stars:3}]->(i2),
 (b)-[:LIKES {stars:4}]->(i3),
 (b)-[:LIKES {stars:5}]->(i4),
 (c)-[:LIKES {stars:3}]->(i1),
 (c)-[:LIKES {stars:4}]->(i2),
 (c)-[:LIKES {stars:4}]->(i3),
 (c)-[:LIKES {stars:5}]->(i4),
 (d)-[:LIKES {stars:3}]->(i2),
 (d)-[:LIKES {stars:2}]->(i3),
 (d)-[:LIKES {stars:5}]->(i4)

2、运行相似度计算

MATCH (i:Item) WITH i ORDER BY id(i) MATCH (p:Person) OPTIONAL MATCH (p)-[r:LIKES]->(i)
WITH {item:id(p), weights: collect(coalesce(r.stars,0))} as userData
WITH collect(userData) as data
CALL algo.similarity.pearson(data,{similarityCutoff:-0.1}) yield p25, p50, p75, p90, p95, p99, p999, p100, nodes, similarityPairs, computations RETURN *

3、algo.similarity.jaccard.stream - Mode.READ

MATCH (i:Item) WITH i ORDER BY i MATCH (p:Person) OPTIONAL MATCH (p)-[r:LIKES]->(i)
WITH p, i, r ORDER BY id(p), id(i) WITH {item:id(p), weights: collect(coalesce(r.stars,$missingValue))} as userData
WITH collect(userData) as data
call algo.similarity.pearson.stream(data,{similarityCutoff:-0.1}) yield item1, item2, count1, count2, intersection, similarity RETURN item1, item2, count1, count2, intersection, similarity ORDER BY item1,item2

四、欧式距离 - algo.similarity.euclidean - Mode.WRITE

1、创建测试数据

CREATE (a:Person {name:'Alice'})
CREATE (b:Person {name:'Bob'})
CREATE (c:Person {name:'Charlie'})
CREATE (d:Person {name:'Dana'})
CREATE (i1:Item {name:'p1'})
CREATE (i2:Item {name:'p2'})
CREATE (i3:Item {name:'p3'})
CREATE (a)-[:LIKES {stars:1}]->(i1),
 (a)-[:LIKES {stars:2}]->(i2),
 (a)-[:LIKES {stars:5}]->(i3),
 (b)-[:LIKES {stars:1}]->(i1),
 (b)-[:LIKES {stars:3}]->(i2),
 (c)-[:LIKES {stars:4}]->(i3)

2、运行相似度计算

MATCH (i:Item) WITH i ORDER BY id(i) MATCH (p:Person) OPTIONAL MATCH (p)-[r:LIKES]->(i)
WITH {item:id(p), weights: collect(coalesce(r.stars,0))} AS userData
WITH collect(userData) AS data
CALL algo.similarity.euclidean(data, {similarityCutoff:-0.1}) YIELD p25, p50, p75, p90, p95, p99, p999, p100, nodes, similarityPairs, computations RETURN *

3、algo.similarity.jaccard.stream - Mode.READ

MATCH (i:Item) WITH i ORDER BY id(i) MATCH (p:Person) OPTIONAL MATCH (p)-[r:LIKES]->(i)
WITH {item:id(p), weights: collect(coalesce(r.stars,$missingValue))} AS userData
WITH collect(userData) AS data
CALL algo.similarity.euclidean.stream(data,{similarityCutoff:-0.1}) YIELD item1, item2, count1, count2, intersection, similarity RETURN item1, item2, count1, count2, intersection, similarity ORDER BY item1,item2

五、重叠相似度 - algo.similarity.overlap - Mode.WRITE

1、创建测试数据

CREATE (a:Person {name:'Alice'})
CREATE (b:Person {name:'Bob'})
CREATE (c:Person {name:'Charlie'})
CREATE (d:Person {name:'Dana'})
CREATE (i1:Item {name:'p1'})
CREATE (i2:Item {name:'p2'})
CREATE (i3:Item {name:'p3'})
CREATE (a)-[:LIKES]->(i1),
 (a)-[:LIKES]->(i2),
 (a)-[:LIKES]->(i3),
 (b)-[:LIKES]->(i1),
 (b)-[:LIKES]->(i2),
 (c)-[:LIKES]->(i3)

2、运行相似度计算

MATCH (p:Person)-[:LIKES]->(i:Item)
WITH {item:id(p), categories: collect(distinct id(i))} as userData
WITH collect(userData) as data
CALL algo.similarity.overlap(data, {similarityCutoff:-0.1}) yield p25, p50, p75, p90, p95, p99, p999, p100, nodes, similarityPairs, computations RETURN p25, p50, p75, p90, p95, p99, p999, p100, nodes, similarityPairs, computations

3、algo.similarity.jaccard.stream - Mode.READ

MATCH (p:Person)-[:LIKES]->(i:Item)
WITH {item:id(p), categories: collect(distinct id(i))} as userData
WITH collect(userData) as data
call algo.similarity.overlap.stream(data,{similarityCutoff:-0.1}) yield item1, item2, count1, count2, intersection, similarity RETURN item1, item2, count1, count2, intersection, similarity ORDER BY item1,item2

备注

neo4j-graph-algorithms包相似度计算源码位置：
algo/src/main/java/org/neo4j/graphalgo/similarity

马超的博客
关注
专栏目录
同义词相似度可以怎样计算
seaboat——a free boat on the sea.（公众号：远洋号）
06-28 3412
前言 词语的相似性的计算方法有很多，比如字面相似度计算方法、基于语义词典的计算方法、基于统计的相似度（向量空间模型）计算方法和基于神经网络的相似度计算方法。 本篇文章讲讲基于词林的语义相似性。 词林 《同义词词林》是上世纪80年代出版的对汉语词汇进行语义分类的义类词典，共收录64223条词目。随后发展，哈尔滨工业大学信息检索实验室对其进行修正完善，《哈工大社会计算与信息检索研究中心同义...
jemter接口并发数怎么算_JMeter压力测试及并发量计算
weixin_39973518的博客
12-22 4221
原标题：JMeter压力测试及并发量计算 本文来自：51Testing软件测试网采编一、聚合报告初识聚合报告是不是有些眼熟，是的你没看错，他跟Apache AB的结果是类似的，事实上LoadRunner也会有一票这样类似的数据。下面分别说下各个数据的意义，其中标成红色的是需要特别关注的。1. #Samples：样本数，如果你看过上一篇，这个就是前面我们那个公式算出来的结果(Loop Count(L...
计算图数据集所有节点间节点特征相似度python
weixin_42602241的博客
02-11 609
可以使用矩阵运算来计算图中节点特征之间的相似度。具体步骤如下： 将图中每个节点的特征向量存储在矩阵中。 计算矩阵中每个向量与其他向量的余弦相似度。 将相似度结果存储在矩阵或数组中，以便于后续使用。 这可以通过使用NumPy和SciPy等Python库来实现。 示例代码： import numpy asnp from scipy.spatial.distance import cosine...
节点相似度的计算
qq_41106162的博客
05-06 6671
参考http://www.docin.com/p-1529295697.html
腾讯千亿节点相似度计算
chndata的专栏
11-26 3418
转自http://data.qq.com/article?id=825 TDW千台Spark千亿节点对相似度计算 2014-11-16分类：TDW         相似度计算在信息检索、数据挖掘等领域有着广泛的应用，是目前推荐引擎中的重要组成部分。随着互联网用户数目和内容的爆炸性增长，对大规模数据进行相似度计算的需求变得日益强烈。在传统的MapReduce框架
论文导读 | 大规模动态图上的节点相似度计算
weixin_48167662的博客
07-22 1470
北京大学 葛钤 摘要： 大规模动态图上的相似度计算，一直是复杂而重要的研究问题。其难点一方面在于大规模图上进行高精确度且快速的相似度计算本身就存在挑战，另一方面是图发生变化时，需要在短时间内对相似度进行更新。本文针对在大规模动态图上进行相似度（Personalized PageRank和SimRank）计算的三篇工作，介绍并分析了学界目前常用的方法，同时提出一些对于未来研究的思考和展望。 Approximate PersonalizedPageRank on Dynamic Graph
节点相似性指标
叨叨的博客
06-24 4408
在线编辑公式地址 基于局部信息的节点相似性指标 对于一般的网络，两个节点的共同邻居的数量越多，这两个节点越相似，也就更倾向于相互连接。 其中： Γ(x)\Gamma (x)Γ(x) 为节点x的邻居节点的集合 k(x)=∣Γ(x)∣k(x)=\left | \Gamma (x) \right |k(x)=∣Γ(x)∣为节点x的度 1.共同邻居（CN) Sxy=∣Γ(x)∩Γ(y)∣Sxy=\left | \Gamma (x)\cap \Gamma (y) \right |Sxy=∣Γ(x)∩Γ(y)∣
python 语句相似度计算_相似度与距离计算python代码实现
weixin_39683858的博客
12-15 937
#定义几种距离计算函数#更高效的方式为把得分向量化之后使用scipy中定义的distance方法from math import sqrtdef euclidean_dis(rating1, rating2): #欧式距离计算"""计算2个打分序列间的欧式距离. 输入的rating1和rating2都是打分dict格式为{'小时代4': 1.0, '疯狂动物城': 5.0}"""distan...
SimRank:基于图结构的相似度计算方法
weixin_34107955的博客
06-16 2001
简单理解SimRank 图1.二部图 所谓二部图(bipartite graphs)，是指图中的节点可以分这两个子集，任意一条边关联的两个节点分别来自于这两个子集。用I(v)和O(v)分别表示节点v的in-neighbors和out-neighbors。看上面的二部图，我们把A、B当成两个人，把a、b、c当成三件商品，有向边代表人购买的商品。simrank的基本思想是：如果两个实体相似，那...
『图解Java并发编程系列』10张图告诉你Java并发多线程那些破事
热门推荐
华科硕士，大厂打工中。编程问题咨询，请私我
04-28 1万+
头发很多的程序员：『师父，这个批量处理接口太慢了，有什么办法可以优化？』 架构师：『试试使用多线程优化』 第二天 头发很多的程序员：『师父，我已经使用了多线程，为什么接口还变慢了？』 架构师：『去给我买杯咖啡，我写篇文章告诉你』 ……吭哧吭哧买咖啡去了 在实际工作中，错误使用多线程非但不能提高效率还可能使程序崩溃。以在路上开车为例： 在一个单向行驶的道路上，每辆汽车都遵守交通规则，这时候整体通行是正常的。『单向车道』意味着『一个线程』，『多辆车』意味着『多个job任务』。 单线程顺利.
基于节点相似度的有向网络社团检测算法
10-16
针对现有的社团检测算法存在准确度低、没有充分考虑到有向网络的方向特性等问题，提出一种改进的能够适用于有向网络的CNM（Newman 贪婪算法)社团检测算法。在算法设计中引入基于拓扑结构信息的有向网络节点相似度算法，并重新定义模块度增量函数ΔQs。使用一个计算机生成网络和两个实际网络对算法进行了测试并与已有算法进行比较。实验结果表明，文章提出的算法能够有效地检测出有向网络中的社团结构。
streams-persist-neo4j:Neo4j扩展需要针对Apache流的GPL
05-03
stream-neo4j Neo4j扩展需要针对Apache流的GPL
社团检测之节点相似度指标
梦家の博客
05-11 4197
本文主要介绍复杂网络中节点相似度指标 基于局部信息的节点相似度指标 共同邻居 sxy=∣Γ(x)∩Γ(y)∣s_{xy}=|\Gamma(x)\cap\Gamma(y)|sxy​=∣Γ(x)∩Γ(y)∣ Salton指标 sxy=∣Γ(x)∩Γ(y)∣k(x)×k(y)s_{xy}=\frac{|\Gamma(x)\cap\Gamma(y)|}{\sqrt{k(x)×k(y)}}sxy​=k...
neo4j相似性算法（Similarity algorithms）-1.The Jaccard Similarity algorithm
name__student的博客
07-23 6037
一.介绍： 　　　The Jaccard Similarity algorithm，杰卡德相似性算法，主要用来计算样本集合之间的相似度。 　　　给定两个集合Ａ，Ｂ，jaccard 系数定义为A与B交集的大小与并集大小的比值。 　　　公式描述为： 　　　 　　　杰卡德值越大，说明集合之间相似度越大。 二.neo4j算法： CALL algo.similarity.jaccard.stream(use...
NEO4J-相似度算法01-杰卡德相似度介绍及应用场景简介
lijunliang2017的博客
08-09 3187
说明：使用neo4j算法库时需引入跟neo4j数据库对应的算法库插件或自定义算法库 一、杰卡德Jaccard似度算法 1.简介 Jaccard 相似度（系数）是Paul Jaccard创造的一个术语，用于衡量集合之间的相似度。它被定义为交集的大小除以两个集合的并集的大小。这个概念已被推广到多重集，其中重复元素被视为权重。 Jaccard 相似度使用以下公式计算： 该算法的输入是包含两个不相交节点集的二部连通图。每个关系从第一个节点集中的一个节点开始，到第二个节点集中的一个节点结束。 节点
稀疏相似度
算法岗从零到无穷
03-09 442
面试题 17.26. 稀疏相似度 【困难题】【创新】 两个(具有不同单词的)文档的交集(intersection)中元素的个数除以并集(union)中元素的个数，就是这两个文档的相似度。例如，{1, 5, 3} 和 {1, 7, 2, 3} 的相似度是 0.4，其中，交集的元素有 2 个，并集的元素有 5 个。给定一系列的长篇文档，每个文档元素各不相同，并与一个 ID 相关联。它们的相似度非常...
python对数据相似度分析算法库_相似度算法在知识图谱中的实现
weixin_39737764的博客
12-11 986
随着知识图谱的火爆从美国一路烧到了国内，近几年知识图谱技术在国内已经得到了飞速的发展，我们对知识图谱的概念及应用都不再陌生。你可以看到知识图谱技术的应用出现在越来越多的垂直领域中。从最早大家最为熟悉的在搜索引擎中的应用，逐渐地扩充到金融领域、医药领域等等。今天我们已经在各行各业中，都能够看到知识图谱的身影，更多的技术人员也加入了我们知识图谱工程的大家庭。那么今天我们来就知识图谱的技术问题进行更深层...
iref streams_如何利用Neo4j Streams并建立即时数据仓库
cumi7754的博客
08-04 555
iref streamsby Andrea Santurbano 通过安德里亚·桑图尔巴诺(Andrea Santurbano) 如何利用Neo4j Streams并建立即时数据仓库 (How to leverage Neo4j Streams and build a just-in-time data warehouse) In this article, we’ll show how to...
Neo4j和Elasticsearch相关介绍草稿内容(更新中ing)
最新发布
Edwardyd的博客
08-07 999
Neo4j和Elasticsearch是两个不同的开源软件，用于不同的用途。Neo4j是一个图数据库管理系统，专注于处理和存储图结构数据。它使用节点（nodes）和关系（relationships）来表示数据，提供了高效的图遍历和查询功能。Neo4j适用于需要处理复杂关系和连接的数据集，例如社交网络、推荐系统、知识图谱等。Elasticsearch是一个分布式搜索和分析引擎，基于Apache Lucene开发。它被设计用于快速、可扩展地搜索和分析大规模的结构化和非结构化数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

马超的博客

谢谢大佬的赞赏 :)

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值