国科大图数据管理与分析课程项目gStore实验报告

置顶 已于 2022-07-22 11:56:16 修改
阅读量1.1k 收藏 6
点赞数 3
分类专栏： 大数据系统与大规模数据分析 知识图谱 文章标签： 知识图谱 SPARQL 图数据库 json java
于 2022-07-21 00:19:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42200347/article/details/125903436
版权

一、gStore数据库探索

​ gStore是面向RDF知识图谱的开源图数据库系统，支持复杂的SPARQL查询及有效的增删改操作，支持海量三元组规模的RDF知识图谱的数据管理任务。而gStore云平台是为了方便用户使用搭建的云服务web平台，用户可以在该平台上进行数据库管理（包括数据集构建、删除、导出等操作），也可以实现数据库查询及结果可视化，满足了广大gStore用户的基本需求。

1.构建数据库

执行bin/gbuild jinrong ./homework/jinrong.nt构建图数据库

2. 查看数据库列表

执行bin/gshow：

在这里插入图片描述

3. 数据库状态查询

执行bin/gmonitor jinrong:

在这里插入图片描述

二. 任务要求

​ 作业目标：利用提供的金融数据集，搭建以gStore为管理平台的小型金融知识图谱；并实现任务一、任务二、任务三的功能，返回正确的结果。(建议将gstore作为知识图谱存储介质，自己搭建应用平台完成实验)

​ 数据集：本数据集是一部分清洗好的股东持股关系三元组数据jinrong.nt文件，主语是公司的名称，宾语是股东的名称，在使用时需要先上传到gStore云端。数据集放在百度网盘中，里面有数据内容的简单介绍。

​ 任务一：按照任务一将数据上传到gStore云平台或者直接使用将数据集中的jinrong.nt文件上传到gStore云平台。利用构建好的知识图谱，编写sparql语句查询两个公司之间的关联路径（2-hop）。例如输入公司“招商局轮船股份有限公司”和“招商银行股份有限公司”，得到这两家公司之间的所有路径。

​ **任务二：**编写sparql语言实现多层股权的穿透式查询，可以根据指定层数获得对应层级的股东，例如：输入“招商局轮船股份有限公司””和层数3，就会把“招商局轮船股份有限公司”所对应公司所有三层以内的公司找出来。

​ **任务三：**编写sparql语言实现环形持股查询，判断两家公司是否存在环形持股现象，环形持股是指两家公司彼此持有对方的股份。例如：输入“A”和“C”，判断两家公司是否存在环形持股。

三、源码说明

​ 附件源码简单说明：

  • hw.java：程序启动类，运行main方法启动
  • Client.java：为程序界面类，负责界面及信息显示
  • TaskStrategy.java：抽象策略接口，定义了三个方法RunTask、GetSQL、ShowResult
  • Task1.java、Task2.java、Task3.java：具体策略类，对应任务一、任务二、任务三

四、查询结果

1. 任务一

  1. 举例：如果输入“招商局轮船股份有限公司”和“深圳市晏清投资发展有限公司”，则相应的sparql语句如下：

    PREFIX : <file:///F:/d2r-server-0.7/holder8.nt#holder_copy/>
SELECT ?x ?p
WHERE 
{
    {
        :招商局轮船股份有限公司 ?x :深圳市晏清投资发展有限公司.
    }
    union
    {
        :深圳市晏清投资发展有限公司 ?x :招商局轮船股份有限公司.
    }
    union
    {
        ?p ?b :深圳市晏清投资发展有限公司.
        :招商局轮船股份有限公司 ?c ?p.
    }
    union
    {
        ?p ?b :招商局轮船股份有限公司.
        :深圳市晏清投资发展有限公司 ?c ?p.
    }
    
}

  2. 运行hw.java中的main方法，输入：招商局轮船股份有限公司 深圳市晏清投资发展有限公司

    在这里插入图片描述

  3. 输入：招商局轮船股份有限公司 招商银行股份有限公司

    在这里插入图片描述

  4. 输入：A 招商银行股份有限公司

    在这里插入图片描述

2. 任务二（未解决）

  1. 举例：如果输入：公司名称 层数，则对应的sparql语句如下：

    PREFIX : <file:///F:/d2r-server-0.7/holder8.nt#holder_copy/>
SELECT 
(kHopReachablePath(?x, :公司名称, true, 层数, {}) AS ?y)
WHERE {
    
}

  2. 运行hw.java中的main方法，输入 ：招商局轮船股份有限公司 3

在这里插入图片描述

查询结果为：
{
    "head": {
        "link": [],
        "vars": [
            "y"
        ]
    },
    "results": {
        "bindings": [
            {
                "y": {
                    "type": "literal",
                    "value": "{\"paths\":[{\"src\":\"\",\"dst\":\"\",\"edges\":[],\"nodes\":[]}]}"
                }
            }
        ]
    },
    "StatusCode": 0,
    "StatusMsg": "success",
    "AnsNum": 1,
    "OutputLimit": -1,
    "ThreadId": "140116571899648",
    "QueryTime": "��"
}

​ sql代码思路：使用SELECT (kHopReachablePath(?x, :公司名称, true, 层数, {}) AS ?y) WHERE { } K 跳可达性查询,返回层数k以内可以到达公司节点的所有节点。

​ 现存问题：通过ghttp发送sparql请求并解析json数据，并没有获取到对应的路径节点信息，多次调试也没有将问题解决
目前想法：控制好变量，用java写了个递归，将所有情况(1~k层内)的sparql语句用union拼起来，再ghttp执行sparql得到返回结果？

3. 任务三

  1. 举例：输入：A C 则对应的sparql语句为：

    PREFIX : <file:///F:/d2r-server-0.7/holder8.nt#holder_copy/>
select (cycleBoolean(:A, :C, true, {}) as ?x)where{ }

  2. 运行hw.java中的main方法，输入： A C

    在这里插入图片描述

  3. 输入：A 深圳市晏清投资发展有限公司

    在这里插入图片描述

五、附java源码：

public class hw {
    public static void main(String[] args) {
        new Client().start();
        
    }
}

public class Client {
    //连接对象
    GstoreConnector gc;
    Scanner scanner = new Scanner(System.in);
    //策略对象
    TaskStrategy taskStrategy = null;

    public Client(){
        String IP = "127.0.0.1";
        int Port = 9000;
        String username = "root";
        String password = "123456";
        // start a gc with given IP, Port, username and password
        gc = new GstoreConnector(IP, Port, username, password);
        //build
        gc.build("jinrong", "./homework/jinrong.nt");
        //load
        gc.load("jinrong");
        //加载完成
        // System.out.println("加载数据库完成");
    }
    public void start(){
        String input = null;
        while(true){
            System.out.println("=================================");
            System.out.println("一、菜单：");
            System.out.println("=================================");
            System.out.println("1. 测试任务一：获取两个节点之间两跳以内的所有可达路径");
            System.out.println("2. 测试任务二：节点层数穿透式查询");
            System.out.println("3. 测试任务三：判断两个节点之间是否存在环路");
            System.out.println("=================================");
            System.out.print("请输入任务对应数字：");
            String num=scanner.nextLine();
            switch(num){
                case "1":
                    System.out.println("请输入两个公司的名称[name1(String) name2(String)]：");
                    input = scanner.nextLine();
                    String[] EnterName = input.split(" ");
                    taskStrategy = new Task1();
                    System.out.println("=================================");
                    System.out.println("查询结果为：");
                    taskStrategy.RunTask(EnterName[0],EnterName[1], gc);
                    System.out.println("=================================");
                
                    //System.out.println(EnterName[0]+" "+EnterName[1]);
                    break;
                case "2":
                    System.out.println("请输入公司名称和要查询的层数[name(String) layers(int)]：");
                    input = scanner.nextLine();
                    String EnterpriseName = input.split(" ")[0];
                    String Layer = input.split(" ")[1];
                    System.out.println(EnterpriseName+" "+ Layer);
                    taskStrategy = new Task2();
                    System.out.println("=================================");
                    System.out.println("查询结果为：");
                    taskStrategy.RunTask(EnterpriseName,Layer, gc);
                    System.out.println("=================================");
                    break;
                case "3":
                    System.out.println("请输入要测试环路的两个公司的名称[name1(String) name2(String)]：");
                    input = scanner.nextLine();
                    String[] EnterName_huang = input.split(" ");
                    taskStrategy = new Task3();
                    System.out.println("=================================");
                    System.out.println("查询结果为：");
                    taskStrategy.RunTask(EnterName_huang[0],EnterName_huang[1], gc);
                    System.out.println("=================================");
                    break;
                default:
                    System.out.println("没有该选项，请输入正确数字选项！！");
                    break;
            }
            System.out.println("按回车键继续....");
            String temp = scanner.nextLine();
        }
    }
}

public interface TaskStrategy {
    void RunTask(String arg1,String arg2,GstoreConnector gc);
    String GetSQL(String arg1,String arg2,int val);
    void ShowResult(String arg1,String arg2,String result,int val);
}

public class Task1 implements TaskStrategy{
    boolean isempty = true;
    @Override
    public void RunTask(String arg1, String arg2, GstoreConnector gc) {
        String res=null;
        // TODO Auto-generated method stub
        //one
        String sparql1 = GetSQL(arg1, arg2, 1);
        //test
        // System.out.println("sql语句为："+sparql1);
        // query
        res = gc.query("jinrong", "json", sparql1);
        //show
        ShowResult(arg1, arg2, res, 1);

        //two
        String sparql2 = GetSQL(arg1, arg2, 2);
        //test
        // System.out.println("sql语句为："+sparql2);
        // query
        res = gc.query("jinrong", "json", sparql2);
        //show
        ShowResult(arg1, arg2, res, 2);

        //three
        String sparql3 = GetSQL(arg1, arg2, 3);
        //test
        // System.out.println("sql语句为："+sparql3);
        // query
        res = gc.query("jinrong", "json", sparql3);
        //show
        ShowResult(arg1, arg2, res, 3);

        //four
        String sparql4 = GetSQL(arg1, arg2, 4);
        //test
        // System.out.println("sql语句为："+sparql4);
        // query
        res = gc.query("jinrong", "json", sparql4);
        //show
        ShowResult(arg1, arg2, res, 4);

        //last note:
        if(isempty) System.out.println("两个公司之间两跳内不存在可达路径！！");
    }

    @Override
    public String GetSQL(String arg1, String arg2,int val) {
        String sparql = "PREFIX : <file:///F:/d2r-server-0.7/holder8.nt#holder_copy/>\nSELECT DISTINCT";
        if(val==1){
           sparql += " ?x " + "where"
            + "{"
            + " :"+arg1+ " ?x" + " :"+arg2+ ". "
            + "}";
        }
        else if(val ==2){
            sparql += " ?x " + "where"
            + "{"
            + " :"+arg2+ " ?x" + " :"+arg1+ ". "
            + "}";
        }
        else if(val == 3){
            sparql += " ?x " + "where"
            + "{"
            + " ?x ?b" +" :"+ arg2 + ". \n"
            + " :"+arg1+" ?c ?x."
            + "}";
        }
        else if(val == 4){
            sparql += " ?x " + "where"
            + "{"
            + " ?x ?b" +" :"+ arg1 + ". \n"
            + " :"+arg2+" ?c ?x."
            + "}";
        }
        return sparql;
    }

    @Override
    public void ShowResult(String arg1,String arg2,String result,int val) {
        //1.将json字符串转化为json对象
        JSONObject json = JSONObject.parseObject(result);
        int AnsNum = json.getIntValue("AnsNum");
        String Result_x = null;
        if(AnsNum>=1){
            //第二层
            JSONObject bindingsjson = json.getJSONObject("results");
            //第三层
            JSONArray bindingsarrys = bindingsjson.getJSONArray("bindings");
            //链式编程直接得到结果
            Result_x = ((JSONObject)bindingsarrys.get(0)).
            getJSONObject("x").getString("value");
        }
        // TODO Auto-generated method stub
        if(val==1){
            if(AnsNum>=1&&Result_x.equals("http://localhost:2020/vocab/resource/holder_copy_holder_name")){
                System.out.println("一跳：" + arg1+ " --> " + arg2);
                isempty = false;
            }
         }
         else if(val ==2){
            if(AnsNum>=1&&Result_x.equals("http://localhost:2020/vocab/resource/holder_copy_holder_name")){
                System.out.println("一跳：" + arg2 + " --> " + arg1);
                isempty = false;
            }
         }
         else if(val == 3){
            if(AnsNum>=1&&Result_x.contains("file:///F:/d2r-server-0.7/holder8.nt#holder_copy/")){
                // file:///F:/d2r-server-0.7/holder8.nt#holder_copy/
                String ShowAnsString = Result_x.substring(Result_x.lastIndexOf("/")+1);
                System.out.println("两跳：" + arg1+ " --> " + ShowAnsString +" --> "+ arg2);
                isempty = false;
            }
         }
         else if(val == 4){
            if(AnsNum>=1&&Result_x.contains("file:///F:/d2r-server-0.7/holder8.nt#holder_copy/")){
                // file:///F:/d2r-server-0.7/holder8.nt#holder_copy/
                String ShowAnsString = Result_x.substring(Result_x.lastIndexOf("/")+1);
                System.out.println("两跳：" + arg2+ " --> " + ShowAnsString +" --> "+ arg1);
                isempty = false;
            }
         }
    }
}

public class Task2 implements TaskStrategy {

    @Override
    public void RunTask(String arg1, String arg2, GstoreConnector gc) {
        // TODO Auto-generated method stub
        //一层一层计算
        // for(int i=1;i<=Integer.parseInt(arg2);i++){

        // }
        String res;
        String sparql = GetSQL(arg1, arg2, 0);
        res = gc.query("jinrong", "json", sparql);
        // test
        System.out.println("sql语句为："+sparql);
        ShowResult(arg1, arg2, res, 0);
        
    }

    @Override
    public String GetSQL(String arg1, String arg2, int val) {
        // TODO Auto-generated method stub
        String sparql = "PREFIX : <file:///F:/d2r-server-0.7/holder8.nt#holder_copy/>\nSELECT DISTINCT ";
        sparql += "(kHopReachablePath(?x, :"+ arg1+", true, "+arg2+", {}) AS ?y)" + " where{ }";
        return sparql;
    }

    @Override
    public void ShowResult(String arg1, String arg2, String result, int val) {
        // TODO Auto-generated method stub
        System.out.println("查询结果为：");
        System.out.println(result);
    }
    
}

public class Task3 implements TaskStrategy{

    @Override
    public void RunTask(String arg1, String arg2, GstoreConnector gc) {
        // TODO Auto-generated method stub
        String res;
        String sparql = GetSQL(arg1, arg2, 0);
        res = gc.query("jinrong", "json", sparql);
        // test
        // System.out.println("sql语句为："+sparql);
        ShowResult(arg1, arg2, res, 0);
    }

    @Override
    public String GetSQL(String arg1, String arg2, int val) {
        // TODO Auto-generated method stub
        String sparql = "PREFIX : <file:///F:/d2r-server-0.7/holder8.nt#holder_copy/>\nSELECT ";
        sparql += "(cycleBoolean(:" + arg1 + ",:"+ arg2 + ",true,{}) as ?x) " + "where{ }";
        return sparql;
    }

    @Override
    public void ShowResult(String arg1, String arg2, String result, int val) {
        // TODO Auto-generated method stub
        //1.将json字符串转化为json对象
        JSONObject json = JSONObject.parseObject(result);
        int AnsNum = json.getIntValue("AnsNum");
        String Result_x = null;
        if(AnsNum>=1){
            //第二层
            JSONObject bindingsjson = json.getJSONObject("results");
            //第三层
            JSONArray bindingsarrys = bindingsjson.getJSONArray("bindings");
            //链式编程直接得到结果
            Result_x = ((JSONObject)bindingsarrys.get(0)).
            getJSONObject("x").getString("value");
        }
        if(Result_x.equals("true")){
            System.out.println("公司:"+arg1+" 和 公司:"+arg2+ " 存在环形持股。。。");
        }else{
            System.out.println("公司:"+arg1+" 和 公司:"+arg2+ " 不存在环形持股。。。");
        }
    }
    
}
程哥哥吖
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
三元组图谱 gstore 简介(一)
仗剑执天涯的专栏
05-30 266
SPARQL语法标准，提供C++、Java、Python、PHP等API接口单机版本支持50亿条边秒级响应gstore 是一个rdf三元组图谱数据库分布式版本设计了基于查询日志的分布式图数据划分策略，具有非常好的可扩展性。
gStore a graph-based SPARQL query engine
03-14
RDF数据研究的文档，展现通过图的方式，对RDF进行存储，索引
XGQA:新冠问答系统
03-11
XGQA:新冠问答系统
gStore最新版1.2之新增内置高级函数详解（一）
最新发布
weixin_48167662的博客
02-21 618
gStore1.2版本新增了七个高级函数，我们分成2期来对每一个函数的使用进行详细介绍，本期介绍的高级函数为单源最短路径（包括SSSP和SSSPLen）、标签传播（labelProp）、弱连通分量（WCC）三个高级函数。
NLP：自然语言问答系统.zip
04-21
自然语言问答系统 能够将自然语言问题转化成包含语义信息的查询图，然后，将查询图转化成标准的SPARQL查询，并将这些查询在图数据库中执行，最终得到用户的答案。我们使用数据驱动的消歧方式，具体来讲，在生成查询图的阶段保留多种实体和谓词的链接方案，在查询执行的阶段根据匹配情况消除歧义（错误链接）。 部署请先查阅md文件。
gStore的基本用法
石中路的博客
02-19 7917
gStore的官方文档提供了非常详细的使用方式，这里对实践过程进行记录。另外，再次建议：仔细看文档！ gbuild gbuild 用于由 RDF 三元格式文件 build 一个新的数据库。也就是说，建一个gStore新数据库之前，需要有RDF三元组文件，gStore将把这个RDF文件存入数据库（不支持XML）。在gStore的根目录下输入： bin/gbuild db_name rdf_tripl...
#gStore-weekly | gstore源码解析（五）：安全机制之日志追踪
weixin_48167662的博客
07-12 163
对安全机制中日志追踪的源码进行解析。
Gstore官网学习二：安装（笔者自带填坑）
huiguo_的博客
11-13 1943
文章目录一、系统要求二、安装环境准备2.1 安装gcc 和 g++ 安装2.1.1官网指导2.1.2 笔者方法第一步:安装centos-release-scl第二步:安装devtoolset，注意，如果想安装7.*版本的，就改成devtoolset-7-gcc*，以此类推第三步：激活对应的devtoolset，所以你可以一次安装多个版本的devtoolset，需要的时候用下面这条命令切换到对应的版本第四步：查看一下gcc版本第五步：直接替换旧的gcc2.2 jdk 安装2.3 readline 安装2.4
gStore使用
JYZNCXY的博客
11-24 1437
gStore简单使用
gStore基础操作（命令行）
weixin_44911248的博客
07-13 781
gStore的基本命令行操作
gStore-weekly｜gstore源码解析（九）自定义图分析算子函数的处理机制
weixin_48167662的博客
12-23 1056
本篇介绍了 gStore 中自定图分析算子函数的创建和编译部分，建议在阅读的同时结合源码 GRPC/APIUtil.cpp 一起分析，会更容易理解。在下篇中，我们将会介绍事务相关部分。
数据库技术gstore论文
12-06
现在的数据库是非常庞大的，为了尽量加速数据库的相关操作，诞生了很多新的想法和技术，gstore就是其中一种。
国科大-多媒体理解与分析-最全考题、复习题整合
12-24
国科大的多媒体理解与分析课程能够搜集到的所有考题以及相关问题整合，按照2023年课程章节顺序进行问题排序，内附2023年真题、附加问题的GPT回答的人工整理，最接近于真实答案，开卷考试时作用远大于打印的一大摞PPT...
国科大-计算机算法设计与分析讲义&PPT&平时作业及解答.zip
12-16
国科大刘玉贵老师计算机算法设计与分析的PPT和作业
国科大2016年秋季学期课表，数据分析组课程要求
09-16
中国科学院大学2016年秋季学期全校课表，包含某所数据分析组选课要求，以底色标出。课表包括课程，类型，教师，上课时间，地点等等。
国科大2019年大数据分析课件作业 考试-程学旗 靳小龙 刘盛华
01-11
国科大2019年大数据分析课件作业 考试-程学旗 靳小龙 刘盛华国科大2019年大数据分析课件作业 考试-程学旗 靳小龙 刘盛华
国科大-矩阵分析与应用考试秘籍(libb版)
11-16
内容概要：矩阵分析与应用考试秘籍（国科大李保滨老师版） 适用人群：（1）对于上libb老师的课程的人群；（2）复习备考，即将去考场的人。 使用场景及目标：使用场景：可以学习的各个地方；目标考取满分的人（或者不...
gStore图数据库管理系统使用概述
Deer
04-08 1307
上一篇博文介绍了如何部署和安装gStore图数据库管理软件，在这里介绍一下如何使用其进行数据处理和管理。 下面以电影知识图谱为例进行一次实际操作并进行调用 实验环境 ubuntu 16.04 python 3.5.3 启动gStore sudo bin/ghttp 9000 如果提示9000端口被占用，那么需要将构建好的进程结束，重新启动。 sudo bin/shu...
gstore的安装和使用
liujiang0529的博客
01-20 4586
按照gstore的部署方案在unbuntu 使用docker进行部署 在部署的过程中遇到的问题： （1）直接下载gstore源码，然后依次执行，make pre,make等操作，发现bin文件夹下没有生成可执行的命令文件如（gbuild,gquery等），遂该方法作罢 （2）使用docker安装，方法一即构建运行，方法二直接运行镜像。经常出现timout等操作，好像什么镜像源不稳定造成的，下载了好...
国科大ucas 2022年矩阵分析李保滨往年题+课程作业答案
11-15
因此，对于2022年国科大矩阵分析课程的作业，希望学生能够主动学习、勤奋钻研，不断提高自己的矩阵分析能力，而不是简单地寻找往年题目和答案。只有通过自己的努力和思考，才能真正地掌握和运用所学到的知识，为将来...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程哥哥吖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值