Neo4j和Elasticsearch相关介绍草稿内容(更新中ing)

Edwardyd

已于 2023-08-09 00:36:04 修改

阅读量1k

点赞数

文章标签： neo4j elasticsearch

于 2023-08-07 23:59:39 首次发布

本文链接：https://blog.csdn.net/Edwardyd/article/details/132157580

版权

Neo4j和Elasticsearch相关介绍草稿内容(更新中ing)

Neo4j和Elasticsearch是两个不同的开源软件，用于不同的用途。

Neo4j是一个图数据库管理系统，专注于处理和存储图结构数据。它使用节点（nodes）和关系（relationships）来表示数据，提供了高效的图遍历和查询功能。Neo4j适用于需要处理复杂关系和连接的数据集，例如社交网络、推荐系统、知识图谱等。

Elasticsearch是一个分布式搜索和分析引擎，基于Apache Lucene开发。它被设计用于快速、可扩展地搜索和分析大规模的结构化和非结构化数据。Elasticsearch支持全文搜索、实时数据分析、日志处理等应用场景，并提供了丰富的查询和聚合功能。

虽然Neo4j和Elasticsearch都可以存储和查询数据，但它们的数据模型和查询语言有很大的区别。Neo4j使用Cypher查询语言进行图查询，而Elasticsearch使用基于JSON的查询语言进行搜索和分析。

在某些场景下，Neo4j和Elasticsearch可以一起使用，以发挥各自的优势。例如，可以使用Neo4j存储图结构数据，并使用Elasticsearch进行全文搜索和分析。这样可以在图数据库中高效地处理关联关系，同时在Elasticsearch中进行灵活的搜索和聚合操作。

Neo4j和Elasticsearch结合使用

下面是一些将Neo4j和Elasticsearch结合使用的方法和场景：

数据同步：你可以编写脚本或使用现有的工具来实现数据在Neo4j和Elasticsearch之间的同步。当在Neo4j中添加、更新或删除节点时，相应的操作可以同步到Elasticsearch中，以保持数据的一致性。
全文搜索：Elasticsearch是一款强大的全文搜索引擎，可以用于索引和搜索大量文本数据。你可以将Neo4j中的节点属性同步到Elasticsearch索引中，并使用Elasticsearch的搜索功能来执行高性能的全文搜索操作。
数据聚合和分析：Neo4j和Elasticsearch都提供了强大的查询能力。你可以使用Neo4j查询图形数据，并将结果与Elasticsearch中的文本数据进行聚合和分析。这种结合可以帮助你发现数据之间的关联性，并进行更深入的数据挖掘和分析。
可视化：Neo4j和Elasticsearch都提供了可视化工具，用于展示和分析数据。你可以使用Neo4j的图形可视化工具来呈现图形数据的结构和关系，同时使用Elasticsearch的可视化工具来展示全文搜索的结果和数据统计。

需要注意的是，将Neo4j和Elasticsearch结合使用需要一定的开发和配置工作。

实现Neo4j和Elasticsearch之间的数据同步

有几个现有的工具可以帮助你实现Neo4j和Elasticsearch之间的数据同步。以下是其中一些常用的工具：

Neo4j Streams：Neo4j Streams是Neo4j官方提供的一款插件，用于将Neo4j中的更改事件流式传输到外部系统。你可以使用Neo4j Streams将Neo4j中的更改操作发送到Elasticsearch，以实现数据同步。
Logstash：Logstash是Elastic Stack（包括Elasticsearch）的一部分，可以用于数据采集、转换和传输。你可以使用Logstash的Neo4j插件来从Neo4j中读取数据，并将其传输到Elasticsearch中进行索引和搜索。
Apache Kafka：Apache Kafka是一种分布式流消息平台，可以用于可靠地传输大规模数据流。你可以使用Neo4j的Kafka插件将更改事件发送到Kafka主题，然后使用Kafka Connect来将数据从Kafka主题传输到Elasticsearch进行索引和搜索。
Neo4j-to-Elasticsearch：这是一个开源项目，提供了一个简单的工具，用于将Neo4j中的数据同步到Elasticsearch。你可以使用它来定义数据同步的规则和映射，并定期执行同步操作。

配置Logstash的Neo4j插件来实现数据同步

安装Logstash：首先，确保你已经安装了Logstash。你可以从Elastic官方网站（https://www.elastic.co/downloads/logstash）下载Logstash，并按照官方文档进行安装。
下载Neo4j插件：Logstash的Neo4j插件是通过Logstash插件管理工具（Plugin Manager）进行安装的。在命令行中执行以下命令来下载和安装Neo4j插件：

Copy
```
bin/logstash-plugin install logstash-input-neo4j
```
这将从Logstash插件仓库中下载并安装Neo4j插件。
创建Logstash配置文件：创建一个新的配置文件（例如，neo4j.conf），并使用任何文本编辑器打开它。在配置文件中，你需要定义Neo4j作为输入源，并将其与Elasticsearch作为输出目标进行关联。以下是一个简单的配置示例：

yaml

Copy
```
input {
  neo4j {
    id => "neo4j_input"
    address => "bolt://localhost:7687"
    query => "MATCH (n) RETURN n"
    format => "json"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "neo4j_data"
  }
}
```
在上面的示例中，我们使用neo4j作为输入插件，指定了Neo4j数据库的地址、查询和格式。在输出部分，我们使用elasticsearch作为输出插件，指定了Elasticsearch的主机和索引名称。
启动Logstash：保存配置文件后，使用以下命令启动Logstash，并将配置文件作为参数传递给它：

Copy
```
bin/logstash -f /path/to/neo4j.conf
```
Logstash将读取Neo4j中的数据，并将其发送到Elasticsearch进行索引。

[以下转载]https://zhuanlan.zhihu.com/p/126219777

Neo4j 前端可视化组件

Neo4j的设计本质上是非常直观的，使用节点和关系，用户可以轻松地将数据建模为开发人员、数据分析师和 Boss 都非常容易理解的内容。Cypher查询语言还采用ASCII艺术形式进行可视化结构，以使查询构建和维护更易于阅读和扩展。
图可视化通过以各种格式绘制图形来使这些功能更进一步，方便用户以更加友好的方式与数据进行交互。借助可视化工具，展示的图栩栩如生，更能设置各种规则或视图，从不同的角度进行分析。
本文旨在帮助您了解如何使用开源、Neo4j 或合作伙伴提供的多种工具，从 Neo4j 中导出图数据进行可视化展示。每种工具提供的功能各不相同，您可以选择最适合您的，我们还将展示如何使用工具在 Neo4j 中显示数据。

为什么要可视化图？
在没有图的情况下，可以通过多种方式查看 Neo4j 中的数据。您可以将结果以JSON、XML、Table格式返回。那么，为什么有人选择可视化地展示数据呢？
图数据更容易可视化展示，图可视化后能够帮助数据分析人员、业务用户及开发人员极大的提升分析效率。浏览该图的任何人都可以查看连接，确定感兴趣的区域或快速评估数据的当前状态和组织。可以想象，这可以提供其他类型的数据格式无法提供的见解，带来巨大的价值。可视化有助于使异常或相关模式脱颖而出，以帮助人眼和大脑检测到它们，而其他类型的数据格式可能也不会突出显示隐藏的结构。
让我们使用数据建模指南中的电影数据来看一个非常基本的示例。在下面的图表来看，我们可以很容易地挑选出Lana Wachowski导演都Cloud Atlas和The Matrix电影，其中用表格显示数据的方式不够清晰。

图

表

即使您觉得以表格形式很难找到这种关系，也可以想象一下，如果我们正在查看一张包含这些人的从影经历以及数百名其他演员、导演和电影摄制组的图表。这些连接很容易在非可视演示中丢失。

Neo4j 可视化工具和产品
Neo4j 具有两个主要的可视化工具，它们是专门为与 Neo4j 图数据库中的数据一起使用而设计的：Neo4j Browser 和 Neo4j Bloom。Neo4j 浏览器是面向开发人员的工具，允许开发人员执行Cypher查询并可视化结果，它是Neo4j数据库的企业版和社区版的默认开发人员界面。Neo4j Bloom是一种商业许可的产品，允许用户使用自然语言浏览其图数据。我们将在这里简要讨论每个关键细节。

Neo4j Browser

如上所述，Neo4j浏览器是现成的，具有Neo4j的所有图数据库产品，包括Neo4j Server（社区版和企业版）和Neo4j Desktop（所有OS版本）。
它的可视化功能旨在响应给定的Cypher查询来显示存储在数据库中的基础数据的节点图表示，从而显示节点的圆和关系的线。Neo4j浏览器还提供了一些基于节点标签和关系类型的颜色和尺寸样式的功能，或者您可以通过导入GRASS（图形样式表）文件以供Neo4j浏览器引用来自定义自己的样式。您还可以使用查询结果窗格上的内置下拉按钮轻松地将数据导出为PNG、SVG或CSV格式。

Neo4j Bloom

Bloom 是 Neo4j 的独立可视化产品，可通过商业许可进行访问。此工具是为业务分析人员和其它非开发人员设计的，无需编写任何代码即可与图数据库中存储的数据进行交互。
用户可以使用自然语言查询数据库，并在其图数据中浏览模式、聚类和遍历。还可以创建图的不同解剖（称为透视图），使用户可以查看图数据的不同方面和切片以进行进一步分析。

大多数图可视化工具都属于3种架构类别。我们将针对每种类别讨论如何处理导出的数据，并提供不同体系结构的优缺点。根据可视化需求，这些类别可能会定义一组工具，您可以选择这些工具来实现，以解决您的业务需求。

1、具有内置Neo4j连接的可嵌入工具
这些类型的工具可以作为依赖项包含在应用程序中，并且可以轻松地为您的应用程序和Neo4j配置和设置样式。使用配置属性，每个属性都可以轻松连接到图数据库的实例，并允许您根据节点、关系或特定属性设置可视化样式。
将可视化内容嵌入到应用程序中，使开发人员可以创建将可视化内容作为用户界面一部分的应用程序。这也意味着开发人员可以编写其他组件，并根据实际业务需求自定义相关组件。
需要注意的是，这些库通常不支持极其复杂或繁重的工作负载，并且不具有针对功能请求的供应商支持或SLA。因为它们是由社区管理的，所以这些工具依赖社区来提供支持和功能改进。
让我们看看这个类别中的一些工具。
1）Neovis.js
该库旨在将JavaScript可视化和Neo4j无缝集成。与Neo4j的连接非常简单明了，并且由于它是在Neo4j的属性图模型的基础上构建的，因此 Neovis 的数据格式与数据库保持一致。在单个配置对象中定义基于标签、属性、节点和关系的自定义和着色样式。Neovis.js无需编写Cypher即可使用，并且可以使用最少的JavaScript集成到您的项目中。

Neovis库是 Neo4j Labs 项目之一，要了解有关Neo4j Labs的更多信息，请访问 Neo4j Labs。

您还可以将此库与 Neo4j 中的图算法库结合使用，以对可视化进行样式设置，使其与诸如PageRank、中心性、社区检测等算法的结果保持一致。下面，我们看到 neovis.js 呈现游戏人物权力相互作用的图可视化，并使用 Neo4j 的PageRank和社区检测算法，增强应用的可视化。

使用这些算法增强图可视化的一个优势是，我们可以直观地解释这些算法的结果。
Neovis.js资源：

博客文章：Neovis.js
下载 neovis.js：npm软件包

2）Popoto.js
Popoto.js是一个基于D3.js的JavaScript库。Popoto.js将帮助用户以可视方式构建查询以针对Neo4j执行。用户还可以自定义结果和视觉显示。除了可视化之外，您还可以包括对潜在查询的自动完成搜索，查看从可视化生成的Cypher转换，查看查询的文本结果等等。
要在您的应用程序中使用Popoto.js，您只需要在HTML页面中包括独立绑定到容器ID的每个组件。其余内容将由此生成。
Popoto.js资源
文档：Popoto.js
网站：popoto.js

2、无直连 Neo4j 的可嵌入库
这些库提供了在应用程序中嵌入图可视化的功能，但没有直接连接到Neo4j的功能。这样做的好处是，我们可以使用连接到数据库的API应用程序发送的数据填充可视化内容，从而确保客户端应用程序不直接查询数据库。但是，需要注意的是，我们必须转换结果，将它们从Neo4j导出为这些库期望的格式。
在接下来的段落中，我们将进一步探讨这些工具。

1）D3.js
D3网站的第一行指出 ”D3.js是一个JavaScript库，用于基于数据处理文档。” 您可以将不同种类的数据绑定到DOM，然后在其上执行不同种类的功能。这些功能之一包括根据DOM中的数据生成SVG，画布或HTML可视化。

Neo4j的电影示例应用程序使用d3.js，并且您可以使用Neo4j和d3找到许多其他项目。D3（或没有直接Neo4j连接的任何可嵌入库）的复杂部分是将图数据转换为预期的映射格式以进行导出。D3期望图数据有两个不同的集合–一个用于node []（节点），一个用于link []（关系）。这些映射中的每一个都包含每个节点的属性数组，和d3将其转换为圆和直线的关系。d3.js的第4版和第5版还支持力导向图，其中可视化效果会根据用户的视图窗格进行调整。
D3.js资源

网站：D3.js
D3和图表示例：D3示例
Neo4j的d3 实例：Neo4j的实例

2）Vis.js
该库提供了旨在处理大型动态数据集的各种可视化效果。可以使用多种格式来设置数据样式，包括时间轴、数据集、graph2d、graph3d和网络。Neo4j最常见的格式是网络可视化。
即使使用网络格式，也有许多可用于样式节点、标签、动画、着色、分组等的自定义项。有关其他信息并查看所有可用信息，请查看下面的资源中链接的文档和示例。
Vis.js资源
Vis.js网站：Vis.js
网络格式示例：格式示例
源代码项目：Vis.js Github

3）Sigma.js
尽管某些库旨在将所有功能捆绑在一起，但Sigma.js却宣称其高度可扩展的环境中，用户可以在其中添加扩展库或插件来提供附加功能。该库采用JSON或GEXF格式导出的数据。

用户可以从开箱即用的非常基本的可视化开始，然后开始添加自定义功能和呈现样式首选项。一旦需求超出了可能的范围，用户就可以编写和使用自己的自定义插件来实现特定功能。
Sigma.js资源
网站：Sigma.js
源代码：Sigma.js Github
博客文章：Sigma.js + Neo4j

4）Vivagraph.js
Vivagraph.js的构建旨在处理用于布置节点和边的不同类型的布局算法。它可以管理从很小到很大的数据集大小，还可以呈现基于WebGL、SVG和CSS的格式。可通过CSS修改和扩展库获得自定义和样式。它还可以跟踪图形中的更改，从而相应地更新可视化。
Vivagraph.js资源
源代码：Vivagraph.js Github
博客文章：Viavgraph.js + Neo4j

5）Cytoscape.js
该库用于可视化和渲染网络节点图，并为其它功能提供自定义和可扩展性。Cytoscape.js响应用户交互并在触摸屏界面上工作，从而允许用户以与其相关的方法进行缩放、点击和浏览。您可以使用各种样式组件来自定义样式和网页视图。
Cytoscape.js资源
网站：Cytoscape.js
源代码：Cytoscape.js Github

3、独立的产品工具
某些工具和产品被设计为独立的应用程序，可以连接到 Neo4j 并与存储的数据进行交互，而无需任何代码。这些应用程序的构建是出于非开发人员的考虑–业务分析师、数据科学家、经理和其他用户可以通过节点图格式与Neo4j进行交互。
其中许多工具都涉及商业许可和支持，但可以根据您的用例和自定义要求进行专门配置。他们还需要很少或不需要开发人员集成时间和设置。
以下内容将帮助我们了解这些产品类型。
1）GraphXR

GraphXR是一个完全基于 Web 的可视化平台，用于交互式分析。对于专业用户而言，这是进行临时分析的高度灵活且可扩展的环境，对于企业用户来说，这是一个无需代码即可进行分析和洞察的直观工具。

从Neo4j、SQL数据库、CSV和Json收集数据；
使用内置工具和API调用进行清理和扩展；
分析链接、属性、时间序列和空间数据；
保存至 Neo4j，作为报告输出，或嵌入到您的网页中。

GraphXR 支持广泛的应用程序，包括执法、医学研究和知识管理。
Kineviz还具有此工具的图形应用程序版本，可以安装在Neo4j Desktop中。下面的资源中包含有关graph应用程序的博客文章。
GraphXR资源

博客文章：在Neo4j Desktop中将GraphXR添加为Graph应用程序
博客文章：使用Neo4j、GraphXR和MLl评估投资者绩效
产品信息：GraphXR 数据表

2）yFiles

yWorks借助yFiles（一系列高质量的商业软件编程库）提供了图可视化、图表和网络的复杂解决方案。yFiles库使您可以轻松创建由Neo4j支持的复杂的基于图的应用程序。它们以最高的质量和性能支持最广泛的桌面和Web技术以及布局算法。凭借广泛的可扩展性和大型功能集，可以满足您所有的可视化需求。
yWorks还提供了一个基于yFiles技术的免费图浏览器应用程序。可以将其安装在Neo4j Desktop中。

yFiles资源

3）Linkurious Enterprise

Linkurious Enterprise 是一个浏览器的平台，可在图数据库之上运行。它为负责检测和分析大量连接数据中的威胁的分析师提供了图可视化和分析功能。法国经济和财政部、苏黎世保险或蒙特利尔银行等组织使用Linkurious Enterprise打击金融犯罪、恐怖网络或网络威胁。

Linkurious资源

4）Graphistry

可视化为大数据和复杂数据的时代带来了人机界面。它会自动将您的数据转换为交互式的、可视化的图，以满足分析师的需求。快速显示事件与实体之间的关系，而无需编写查询或整理数据。利用您的所有数据而不必担心规模，并随时随地进行跟踪洞察。
从安全性、欺诈和IT调查到3600个客户和供应链视图，Graphistry都是理想的选择，它将您的数据潜力转化为人的洞察力和价值。
Graphistry资源

源代码：Github上的Graphistry
产品信息：图形图形可视化

5）Perspectives

Tom Sawyer Perspectives是用于构建企业级图和数据可视化与分析应用程序的强大平台。它是一个完整的图可视化软件开发套件（SDK），具有基于图的设计和预览环境。该平台将企业数据源与强大的图可视化、布局和分析技术集成在一起，以解决大数据问题。企业、系统集成商、技术公司和政府机构使用Tom Sawyer Perspectives构建了广泛的应用程序。
Perspectives资源

产品信息：Perspectives 图可视化

6）Keylines

KeyLines使您可以轻松快速地构建和部署高性能网络可视化工具。您可以定制应用程序的各个方面，以适合您、您的数据和需要回答的问题。KeyLines应用程序可在任何设备和所有通用浏览器上运行，以覆盖需要使用它们的每个人。它还与任何IT环境兼容，使您可以将网络可视化应用程序部署到无限数量的不同用户中。您可以构建可扩展且易于使用的自定义应用程序。
Keylines资源

neo4j的查询节点语句

Cypher是一种声明式图查询语言，表达高效查询和更新图数据库。而Neo4j使用的就是Cypher的语法格式，因此查询语句使用match作为关键字进行模糊查询，并且通常会跟随这where关键字，想查询语句中添加过滤词对数据进行过滤，当查询语句为多个部分的时候，还会使用with关键字对上一部分的查询结果进行处理，并且将输出部分输入到下一个查询语句中。

查询所有节点

sql
复制代码MATCH (n) RETURN n

查询所有节点id

python
复制代码match (n) return id(n)

查询特定标签

kotlin
复制代码match (n:company) return n

查询特定标签与其属性

kotlin
复制代码match (n:company) return n.name

查询特定节点

css
复制代码match (n:company{name:'microsoft'}) return n

查询特定节点的特定属性

css
复制代码match (n:company{name:'microsoft'}) return n.name

neo4j的查询关系语句

关系查询，是两个节点的事情，因此关系查询需要两个及以上的节点

根据节点查询关系节点

css
复制代码match (n:company{name:'microsoft'}) -->(product) return product

根据节点查询关系

css
复制代码match (n:company{name:'microsoft'}) -[r]-> (product) return r

根据节点查询关系图

css
复制代码match (n:company{name:'microsoft'}) -[r]-> (m:product) return m,r,n

查询多个关系

less
复制代码match (n:company{name:'microsoft'}) -[r]-> (m:product) - [t]->(o:cvenumberNode) return m,r,n,t,o

查询多个关系并指定关键字

css
复制代码match (n:company{name:'microsoft'}) -[r]-> (m:product{name:'office'}) - [t]->(o:cvenumberNode) return m,r,n,t,o

css
复制代码match (n:company{name:'microsoft'}) -[r]-> (m:product{name:'office'}) - [t]->(o:cvenumberNode{name:'CVE-2022-38049'}) return m,r,n,t,o

查询变长路径

scss
复制代码MATCH (m)-[r*1]->(n) RETURN m, r, n

这样，基本的查询语句格式总结了一下，接下来将针对各个语句模式封装成接口，供前端调用，蟹蟹~

Edwardyd

关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫