试用nebulagraph

xcc_233

已于 2024-03-04 09:52:05 修改

阅读量792

点赞数 9

文章标签： nebulagrph 图数据库

于 2024-02-23 15:21:56 首次发布

本文链接：https://blog.csdn.net/touziss/article/details/136212712

版权

按照手册的快速入门，本地部署操作，基本没什么问题。有一些注意事项NebulaGraph Database 手册 (nebula-graph.com.cn)

默认安装路径在/usr/local/nebula

ip的问题

在步骤3的时候

$ ./nebula-console -addr <ip> -port <port> -u <username> -p <password>
  [-t 120] [-e "nGQL_statement" | -f filename.nGQL]

注意这里，-addr <ip>用本机的ip，-port <port>可以用默认的端口，graph的默认端口是9669，和配置文件中的一致，配置文件在安装路径的etc文件夹中
由于我是在容器中安装测试的nebulagraph，所以需要查看容器的ip地址，就得退出容器，在主服务器中运行

docker inspect <container_id> | grep IPAddress

其他的都用默认即可，例如，我打开nebula-console的命令是

./nebula-console -addr 172.17.0.2 -port 9669 -u root -p 12345678

修改配置文件

需要去修改配置文件，不然在步骤四注册Storage服务的时候会出错
修改nebula-graphd.conf、nebula-metad.conf、nebula-storaged.conf三个配置文件

三个配置文件类似，主要是把这两个ip改为本机ip

nebulagraph三个服务对应的端口号

graph对应的默认端口号9669
meta对应的默认端口号9559
storage对应的默认端口号9779

然后增加storage主机，ip还是本机ip，记得端口号是9779

显示Status "ONLINE"就对了

Nebula-importer

接下来用nebula-importer从本机导入csv文件

我是用对应的二进制包安装的，nebulagraph的版本是3.6，对应下载的安装包版本是4.0Release NebulaGraph Importer 4.1.0 · vesoft-inc/nebula-importer (github.com)

然后直接用命令

dpkg -i <package_name>

默认安装路径在/usr/bin

然后要自己创建yaml配置文件，复制并修改官网上的配置文件内容使用 NebulaGraph Importer - NebulaGraph Database 手册 (nebula-graph.com.cn)

有几个地方需要注意：

Client

client:
version: v3
address: "172.17.0.2:9669" # 要改为自己的ip
user: root
password: 12345678 # 改为自己的用户名和密码
ssl:
enable: false
certPath: "/home/xxx/cert/importer.crt"
keyPath: "/home/xxx/cert/importer.key"
caPath: "/home/xxx/cert/root.crt"
insecureSkipVerify: false
concurrencyPerAddress: 10
reconnectInitialInterval: 1s
retry: 3
retryInitialInterval: 1s

manager

manager:
spaceName: mars_test_1 # 改为要创建的SPACE的名字
batch: 128
readerConcurrency: 50
importerConcurrency: 512
statsInterval: 10s
hooks:
before:
- statements:
- |
DROP SPACE IF EXISTS mars_test_1; # 改为要创建的SPACE的名字
CREATE SPACE IF NOT EXISTS mars_test_1(vid_type=FIXED_STRING(30)); # 改为要创建的SPACE的名字，并且vid_type要先指定，指定为String比较方便
USE mars_test_1; # 改为要创建的SPACE的名字

CREATE TAG IF NOT EXISTS observationobject(id string, name string); # 这里就是先创建了一个tag，然后csv文件对应的也是这个tag，csv文件里的内容是实体

这是对应的csv数据文件

# 在这里先定义好schema，就是创建好tag什么的，不知道直接在console里创建好行不行，但是为了方便统一，我还是直接在这里定义

wait: 10s
after:
- statements:
- |
SHOW SPACES;

log

log:
level: INFO
console: true
files:
- /usr/local/nebula/logs/nebula-importer.log # 需要自己创建

Source

sources:
- path: /home/nebulagraph/observationobject.csv # csv文件的位置

batch: 256
csv:
delimiter: "," # csv文件的分隔符，用“,”作为分隔符的时候，如果属性里有“,”，需要把整个用双引号括起来CSV格式特殊字符转义处理_csv转义字符-CSDN博客
withHeader: false
lazyQuotes: false
tags:
- name: observationobject # tag的名字
# mode: INSERT
# filter:
# expr: Record[1] == "XXX"
id:
type: "STRING"
#function: "hash" #这是用哈希函数，这里如果用了哈希函数，输出就是int，如果这里要用哈希函数，那么在前面CREATE TAG的时候就要把vid设置为整数
index: 0 # 用什么作为vid，这里我直接用第一列作为vid
#concatItems:
#- person_
#- 0
#- _id
props: # 属性和前面的CREATE TAG那里对应
- name: "id"
type: "STRING"
index: 0
- name: "name"
type: "STRING"
index: 1

import数据

进入nebula-importer安装文件夹，运行

./nebula-importer --config <yaml file path>

显示这个应该就是成功了

检索实验

为了测试，把文件改了，两个天体顶点，在属性v.name里，有两个取值，用英文逗号分隔，看看检索的时候，用CONTAINS就可以通过检索一个值找到这个顶点

当前的csv文件

检索属性中含有“火星”字段的顶点，

 > MATCH (v) \
-> WITH v, properties(v) as props, keys(properties(v)) as kk \
-> WHERE [i in kk where props[i] CONTAINS "火星"] \
-> RETURN v;

得到结果

OK成功！

TODO

接下来要看真实数据去了，真实数据很大，应该要用到集群部署，单机怕是不够了。感觉集群部署又是很多坑。唉。

WithHeader功能

今天测试了一下真实数据和WithHeader功能。有表头配置说明 - NebulaGraph Database 手册 (nebula-graph.com.cn)

tag：observed_region_withheader，第一行是表头，直接在csv文件里配置好了，就不用在yaml配置文件里配置了。

数据文件是这样的

还是第一列是vid，表头写成 :VID(string)

第二列开始是属性，用 tagname.property: 数据类型的形式，例如我这里第二列是name，表头就是 observed_region_wither.name: string

然后是yaml配置文件中

csv.withHeader参数设置为true，tag.id表示VID，还是定义index: 0，即用第一列作为VID，就可以了

目前的yaml配置文件，记录一下

client:
version: v3
address: "172.17.0.2:9669"
user: root
password: 12345678
ssl:
enable: false
certPath: "/home/xxx/cert/importer.crt"
keyPath: "/home/xxx/cert/importer.key"
caPath: "/home/xxx/cert/root.crt"
insecureSkipVerify: false
concurrencyPerAddress: 10
reconnectInitialInterval: 1s
retry: 3
retryInitialInterval: 1s
manager:
spaceName: import_observed_region_withheader_test
batch: 128
readerConcurrency: 50
importerConcurrency: 512
statsInterval: 10s
hooks:
before:
- statements:
- |
DROP SPACE IF EXISTS import_observed_region_withheader_test;
CREATE SPACE IF NOT EXISTS import_observed_region_withheader_test(vid_type=FIXED_STRING(50));
USE import_observed_region_withheader_test;
CREATE TAG IF NOT EXISTS observed_region_withheader(name string, alias string);
wait: 10s
after:
- statements:
- |
SHOW SPACES;
log:
level: INFO
console: true
files:
- /usr/local/nebula/logs/nebula-importer.log
sources:
- path: /home/nebulagraph/SearchData_Mars_Solar/vertex/observed_region_withheader.csv
batch: 256
csv:
delimiter: ","

withHeader: true
lazyQuotes: false
tags:
- name: observed_region_withheader
# mode: INSERT
# filter:
# expr: Record[1] == "XXX"
id:
type: "STRING"
# #function: "hash"
index: 0
#concatItems:
# - object_
# - 0
# - _id
props:
- name: "name"
type: "STRING"
index: 1
- name: "alias"
type: "STRING"
index: 2

插入边和边的检索（withheader）

在csv文件中定义，测试的边是观测台站的载荷，"Observation_Carry_Instrument"，没有属性，如果边有属性的话就在后面加一列属性，edgename.propertyname: 数据类型，即可。当前的csv文件是

第一列是 source的VID :SRC_VID(string)，第二列是destination的VID :DST_VID(string)

然后在yaml配置文件中，定义schema，先要创建边

在manager.hooks.before.statements里加上CREATE EDGE IF NOT EXISTS Observation_Carry_Instrument();
在sources里加上边

- path: /home/nebulagraph/SearchData_Mars_Solar/edge_withheader/Observation_Carry_Instrument_withheader.csv
batch: 256
edges:
- name: Observation_Carry_Instrument
src:
id:
type: "STRING"
index: 0

好了以后可以测试一下检索，检索observation这个tag下所有点的所有边

> MATCH (v: observation) -[e]->() RETURN e