shlhhy-CSDN博客

但数据同步还是不错的，对于有es基础的用户而言，可以直接使用es本身的查询功能，更强大，而不必受限于nebula graph。通过listener插件可以将storage中存储的节点和边，同步到es引擎中。nebula graph的索引不用于查询加速，仅用于点和边的定位。但是基于es创建的全文索引，使用限制非常多，几乎没有实际应用价值。使用lookup和match查询语法之前必须创建索引。............

2022-08-30 15:02:29 554

原创 vue打包

前端的vue开发完成后，需要打包为dist供后台使用，此处需要写一个自动打包的脚本。

2022-08-24 10:34:53 402

原创 tigerGraph 实践

由于tigergraph是闭源的，需要自行向官网申请安装包：https://www.tigergraph.com.cn/，此处安装包如下图

2022-06-23 15:27:25 457 1

原创 neo4j与Mysql的数据迁移

neo4j和mysql之间进行数据的相互迁移通过apoc插件和mysql 的jdbc工具即可实现，由于neo4j是4.0.4版本，下载的插件版本如图。将插件复制到neo4j的plugins目录，重启neo4j服务。采用如下命令即可从mysql中向neo4j写数据。...

2022-06-22 09:28:44 630

原创 neo4j 源码学习

neo4j是maven风格的java工程，学习编译其源码需要搭建如下2个环境：Maven和IntelliJ IDEAMaven是一款服务于Java平台的自动化构建工具。Maven 作为 Java 项目管理工具，它不仅可以用作包管理，还有许多的插件，可以支持整个项目的开发、打包、测试及部署等一系列行为。安装参考文档：https://blog.csdn.net/tirster/article/details/123418269IDEA 全称 IntelliJ IDEA，是java语言开发的集成环境，可以对Ja

2022-06-16 19:31:17 584

原创 neo4j 社区版主从集群

由于neo4j企业版太贵了，想研究一下通过neo4j社区版搭建主从的方案

2022-06-06 13:38:39 6411 1

原创 gremlin图查询插件

gremlin是一个通用的图查询插件，尽管在neo4j上可以使用Cypher语言进行查询，但我仍想调研一下通过gremlin查询neo4j。

2022-05-24 08:44:35 720

原创 linux redis集群搭建

由于一些项目中需要快速的根据id获取该条记录的所有信息，因此需要采用k-v结构的redis数据实现。1.配置host<IP1> master.redis.com master<IP2> node01.redis.com node01<IP3> node02.redis.com node022.gcc环境配置gcc版本需要5.3以上，这里配置版本：9yum -y install centos-release-sclyum -y install devtoo

2022-04-15 09:41:27 1051

原创数据库组件迁移

由于服务器搬迁的原因，时不时会进行数据库的一些整体迁移操作1. mysql通过mysqldump命令实现。# 迁出mysqldump -u root -p questionDB > questionDB.sql# 迁入create database questionDBsource questionDB.sql2. es迁移安装Node和Npm，安装包下载地址：https://nodejs.org/en/download/解压，并创建软链接sudo ln -s /opt/nod

2022-04-14 16:50:11 701

原创 neo4j与es结合

1. es插件es插件下载地址：https://github.com/neo4j-contrib/neo4j-elasticsearch/releases这里下载3.5.6版本的插件，将插件复制到neo4j的plugins目录下docker cp neo4j-elasticsearch-3.5.6.jar neo4j_es:/opt/neo4j/plugins2.

2022-04-12 16:57:44 3853 1

原创 shell编程

xshell是操作linux服务器的一个常用工具，sh脚本可以方便的处理一些工作。shell脚本可以以.sh结尾（或者php等其它后缀表示），比较常用的是bash。bash需要在第一行指定解释器，当然不指定也可以，但是不指定的话，运行时需要指定/bin/sh XX.sh#!/bin/bash1. 语法基础1.1 变量sh脚本的变量一般会加上{}for skill in Ada Coffe Action Java; do echo "I am good at ${skill}Script

2022-03-09 17:10:00 784

原创源代码执行

在2台配置基本一致的服务器上执行同一文件，执行目的是：从es中查询某一数据，执行效率分别为：4.5s，1.1s，比较好奇源代码的执行效率为什么差异这么大。1. 编译型的执行原理编译型语言：Cc语言源代码如何被计算机执行：https://zhuanlan.zhihu.com/p/721390662. 解释型的执行原理解释型语言：Java、Python、R…3. cpu利用率采用top命令查看2台机器的cpu使用情况，发现耗时高的服务器cpu使用满了，top命令可以看到总体的系统运行状态和cp

2022-02-25 10:12:09 898

原创 django 中间件

最近有个需要用prometheus对django服务的接口进行监控的任务，由于接口比较多，写装饰器比较麻烦，因此，研究了中间件的用法1. 编写monitor.middleware编写一个middleware.py文件，内容如下：from django.http import HttpResponsefrom django.utils.deprecation import MiddlewareMixinfrom django.views import Viewfrom prometheus_cli

2022-02-17 09:46:45 493

原创 docker课程笔记

最近也用了不少docker了，还是蛮好奇容器的原理的。1. docker隔离与边界1.1 进程程序，即数据和代码本身的二进制文件，执行程序时，它就从磁盘上的二进制文件，变成了计算机内存中的数据、寄存器里的值、堆栈中的指令、被打开的文件，以及各种设备的状态信息的一个集合，这个一个计算机执行环境的总和，被称为进程。1.2 容器容器技术的核心功能，就是通过约束和修改进程的动态表现，从而为其创造出一个“边界”。Cgroups 技术是用来制造约束的主要手段，而 Namespace 技术则是用来修改进程视图的

2022-01-14 13:58:51 301

原创 networkx实践

最近研究知识图谱相关的构建与推理应用，一个坑的问题在于neo4j中可以存储图数据，查询与可视化也做得不错，但是计算功能比较弱，而neo4j的查询结果不能直接导入networkx进行计算，需要根据查询结果构建图ε=(´ο｀*)))1. networkx创建图G.add_node(node)G.add_edge(link[0], link[1])2. networkx常用计算获取节点/边列表 G.nodes() G.edges()获取节点的度/入度、出度（有向图）G.degree(

2022-01-07 09:42:32 490

原创 docker Swarm

这个需求的起源是，算法需要与MySQL数据库交互，部署镜像后发现，当mysql的ip发生变化时，算法文件就要相应的修改mysql的访问ip，觉得这样很麻烦，所以调研了一下。1. docker swarm 网络

2021-12-28 16:49:51 791

原创 PCR框架实践

最近做的一个项目，希望将前端接口调用与后台的算法分离，当算法进行升级更新的时候，前端无需调整，为此，计划使用pcr框架来实现二者的通信。1. PCR结构如图所示，灰色框部分由pcr的框架进行实现。2. demo示例python可以通过如下方式实现rpyc框架。安装rpyc：pip3 install rpyc==5.0.1client.py，客户端：import rpycfrom threading import Threadimport randomdef call_prc(i):

2021-12-02 17:26:41 1049

原创 so文件编译

项目交付的时候，为了加密源码，将py文件编译为.so文件。1. 单个py文件编译单个文件的编译方法如下，在setup.py文件中编写下列代码，使用命令：python3 setup.py build_ext，执行编译命令from Cython.Build import cythonizefrom distutils.core import setupimport ospath = ''files = os.listdir(path)source_files = []for i in fil

2021-12-02 10:00:58 2554

原创 docker应用实践

由于项目部署的现场环境通常为离线环境，因此需要将项目打包为docker文件，便于部署。1. docker安装yum install docker -y设置自启动systemctl start dockersystemctl enable docker2. 制作包含中文语言环境和python3服务的基础centos镜像此处采用dockerfile文件进行制作，首先拉取一个原始的centos7镜像。docker pull docker.io/centos:7编写dockerfile文件的

2021-11-17 10:18:52 1883

原创 ES应用实践

1. 索引1.1 创建索引通过curl命令curl -H "Content-Type: application/json" -X PUT '<IP>:9200/index1' -d '{ "settings" : { "index" : { # 配置分片数，分片数多时查询速度快，一般分片数与节点数一致 # 分片数只能在索引创建时配置，创建后不可修改 "number_of_shards" :

2021-11-12 14:28:16 2721

原创 python 启动cmd命令

最近有个项目要求通过flask接口调用一个任务命令，可以通过如下方式实现，但是该方法只能返回一个执行状态，无法获取该命令执行的详细日志。import oscmd = 'python3 ...'val = os.system(cmd)因此，获取详细日志可采用以下的方法，该方法可以将cmd命令打印的logging日志回传。import subprocesscmd = 'python3 ...'(status, uploadRes) = subprocess.getstatusoutput(c

2021-10-27 10:36:16 865

原创 flask镜像

1. 制作镜像制作基础centos+python3的镜像# centos镜像docker pull docker.io/ansible/centos7-ansible# 进入容器docker run -tid --name neo4j_container --privileged=true -t docker.io/ansible/centos7-ansible /usr/sbin/initdocker exec -it neo4j_container /bin/bash# 基础环境安装

2021-10-21 14:29:48 626

原创 spark课程学习笔记

1.1 简介spark以RDD（弹性分布式数据集）为基本的数据结构，并定义了RDD相关的基本操作：Map、Filter、flatMap、groupByKey和Union等。spark第一次启动时需要把数据载入到内存，之后的中间结果保存在内存中，避免从硬盘进行读写，因此后期的迭代计算速度很快，速度是spark的最大优势。在任务（task）级别上，spark的并行机制是多线程模型，同一节点上的任务以多线程的方式运行在一个JVM进程中，可以带来更快的启动速度、更高的CPU利用率，以及更好的内存共享。spar

2021-10-13 13:46:13 166

空空如也

空空如也