Janusgraph的OLAP开发实例

最新推荐文章于 2022-05-23 21:31:10 发布
最新推荐文章于 2022-05-23 21:31:10 发布
阅读量418 收藏 4
点赞数
分类专栏： JanusGraph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ooobenooo/article/details/114627290
版权

环境信息：

  1. Centos 7
  2. Janusgraph 0.52
  3. CDH 6.1.0(HBase 2.1.0, Spark 2.4.0)
  4. Java 8

一、pom.xml配置

jar包版本尽量和大数据集群环境中使用的保持一致。避免jar包冲突。

<dependencies>
        <dependency>
            <groupId>org.janusgraph</groupId>
            <artifactId>janusgraph-driver</artifactId>
            <version>0.5.2</version>
            <exclusions>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.janusgraph</groupId>
            <artifactId>janusgraph-hadoop</artifactId>
            <version>0.5.2</version>
            <exclusions>
                <exclusion>
                    <artifactId>logback-classic</artifactId>
                    <groupId>ch.qos.logback</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>metrics-core</artifactId>
                    <groupId>io.dropwizard.metrics</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>metrics-graphite</artifactId>
                    <groupId>io.dropwizard.metrics</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.janusgraph</groupId>
            <artifactId>janusgraph-hbase</artifactId>
            <version>0.5.2</version>
            <exclusions>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.tinkerpop</groupId>
            <artifactId>gremlin-driver</artifactId>
            <version>3.4.6</version>
            <exclusions>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>18.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.4.0</version>
            <scope>provided</scope>
            <exclusions>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-databind</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-core</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-annotations</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-module-scala_2.11</artifactId>
                    <groupId>com.fasterxml.jackson.module</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>log4j</artifactId>
                    <groupId>log4j</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>javassist</artifactId>
                    <groupId>org.javassist</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.4.0</version>
            <scope>provided</scope>
            <exclusions>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-databind</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-core</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-yarn_2.11</artifactId>
            <version>2.4.0</version>
            <scope>provided</scope>
            <exclusions>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.tinkerpop</groupId>
            <artifactId>spark-gremlin</artifactId>
            <version>3.4.6</version>
            <exclusions>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-databind</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.tinkerpop</groupId>
            <artifactId>hadoop-gremlin</artifactId>
            <version>3.4.6</version>
            <exclusions>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-mapreduce</artifactId>
            <version>2.1.0</version>
            <scope>provided</scope>
            <exclusions>
                <exclusion>
                    <artifactId>jackson-databind</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-annotations</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-core</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-mapreduce-client-core</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>metrics-core</artifactId>
                    <groupId>io.dropwizard.metrics</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>2.1.0</version>
            <scope>provided</scope>
            <exclusions>
                <exclusion>
                    <artifactId>jackson-annotations</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-core</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-databind</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jcodings</artifactId>
                    <groupId>org.jruby.jcodings</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>metrics-core</artifactId>
                    <groupId>io.dropwizard.metrics</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-common</artifactId>
            <version>2.1.0</version>
            <scope>provided</scope>
            <exclusions>
                <exclusion>
                    <artifactId>jackson-databind</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-protocol</artifactId>
            <version>2.1.0</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>2.1.0</version>
            <scope>provided</scope>
            <exclusions>
                <exclusion>
                    <artifactId>jackson-annotations</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-core</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-databind</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jersey-server</artifactId>
                    <groupId>org.glassfish.jersey.core</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jersey-container-servlet-core</artifactId>
                    <groupId>org.glassfish.jersey.containers</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>metrics-core</artifactId>
                    <groupId>io.dropwizard.metrics</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>com.jcabi</groupId>
            <artifactId>jcabi-log</artifactId>
            <version>0.14</version>
        </dependency>

    </dependencies>

Janusgraph是基于tinkerpop构建的，tinkerpop代码中会检查Mainfest.MF的version属性，所以打包时必须加上，否则会报错：

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-jar-plugin</artifactId>
                <version>2.3.1</version>
                <configuration>
                    <archive>
                        <manifest>
                            <addClasspath>true</addClasspath>
                        </manifest>
                        <manifestEntries>
                            <version>
                                1.0
                            </version>
                        </manifestEntries>
                    </archive>
                </configuration>
            </plugin>

二、resources配置

大数据环境的4个配置文件放到resources目录下。

把core-site.xml中以下配置注释掉

<!--  <property>-->
<!--    <name>net.topology.script.file.name</name>-->
<!--    <value>/etc/hadoop/conf.cloudera.yarn/topology.py</value>-->
<!--  </property>-->

三、图配置

# Copyright 2020 JanusGraph Authors
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#      http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#
# Hadoop Graph Configuration
#
gremlin.graph=org.apache.tinkerpop.gremlin.hadoop.structure.HadoopGraph
gremlin.hadoop.graphReader=org.janusgraph.hadoop.formats.hbase.HBaseInputFormat
gremlin.hadoop.graphWriter=org.apache.tinkerpop.gremlin.hadoop.structure.io.gryo.GryoOutputFormat

gremlin.hadoop.jarsInDistributedCache=true
gremlin.hadoop.inputLocation=none
gremlin.hadoop.outputLocation=output
gremlin.spark.persistContext=true
gremlin.hadoop.defaultGraphComputer=org.apache.tinkerpop.gremlin.spark.process.computer.SparkGraphComputer


#
# JanusGraph HBase InputFormat configuration
#
janusgraphmr.ioformat.conf.storage.backend=hbase
janusgraphmr.ioformat.conf.storage.hostname=<zk ip 地址>
janusgraphmr.ioformat.conf.storage.hbase.table=<hbase 表名称>

#
# SparkGraphComputer Configuration
#
spark.master=yarn
spark.submit.deployMode=client
spark.yarn.queue=<队列名称>
spark.executor.memory=4g
spark.driver.memory=2g

# spark jar包路径，把CDH客户端spark的lib目录上传即可
spark.yarn.jars=hdfs://ip:port/spark-jars/*.jar
spark.serializer=org.apache.spark.serializer.KryoSerializer
spark.kryo.registrator=org.janusgraph.hadoop.serialize.JanusGraphKryoRegistrator
# janusgraph lib 目录
spark.executor.extraClassPath=/app/janusgraph/lib/*

四、代码实现

package net.demo.graph;

import org.apache.tinkerpop.gremlin.process.traversal.dsl.graph.GraphTraversalSource;
import org.apache.tinkerpop.gremlin.spark.process.computer.SparkGraphComputer;
import org.apache.tinkerpop.gremlin.structure.Graph;
import org.apache.tinkerpop.gremlin.structure.util.GraphFactory;

public class GraphSparkDemo {

    public static void main(String[] args) throws Exception {
        
        System.setProperty("HADOOP_GREMLIN_LIBS", "hdfs://ip:port/spark-jars/*.jar");

        Graph graph = GraphFactory.open("./read-hbase-spark.properties");
        GraphTraversalSource g = graph.traversal().withComputer(SparkGraphComputer.class);

        long count = g.V().count().next();

        System.out.println("v count:" + count);

        graph.close();


    }
}

五、执行结果

六、遇到的坑

 1. JAR包冲突，guvua, jackson，janusgraph用的包和环境上的有差别，遇到的问题最多

2. 在Windows上调试，会遇到unread block data错误，打包在环境上执行就不会出现。

3. Mainfest.MF中缺少version属性报错，因为gremlin代码中会检查这个属性是否存在

4. 打包过程中把Mainfest.MF中包含SF, RSA, DSA文件，执行spark会抛出异常，需要排除相关文件。

七、参考文献

https://www.jianshu.com/p/8be5eeae59fc?from=message

https://docs.janusgraph.org/advanced-topics/hadoop/

 

ooobenooo
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
OLAP的学习与实例搭建
qzp1991的专栏
03-02 7234
OLAP的学习与实例搭建
学习OLAP和多维数据集构建，并借此实现RLOAP数据模型案例分析
hmcxy123的博客
10-22 1492
学习OLAP的定义，准则，基本概念和数据模型，以及多维数据分析的基本操作。利用sql server关系型数据库实现多维数据集构建，是ROLAP数据模型，以星型模型展示。实例讲解切片、切块，钻取等多维数据分析方法并，用PowerBi展示。
图解图库JanusGraph系列-janusgraph图数据库的本地源码编译教程（janusgraph source code compile）
Tech Station
12-14 2296
搞定janusgraph的源码编译~ source code compile
图数据库JanusGraph入门(一)JanusGraph初识
热门推荐
菜菜bu菜的博客
09-26 1万+
图数据库JanusGraph(janus读音类:J+nes, jay 而不是je-nes)，JanusGraph是一个分布式图数据
【JanusGraph】OLAP以spark为引擎，实现数据检索-（数据以RDD缓存内存）
weixin_38602383的博客
05-23 326
实现思路： 检索hbase数据–》构建graphRDD --》 缓存rdd到内存 --》 获取缓存rdd数据（sc.getPersistendRdd） --》其他操作； 1 配置文件： 配置信息管理类：org.apache.tinkerpop.gremlin.hadoop.Constants #################################################### #### Gremlin hadoop configuration #### #
Janusgraph BulkDumperVertexProgram
weixin_39045757的博客
08-27 252
配置文件janusgraph_olap.properties： gremlin.graph=org.apache.tinkerpop.gremlin.hadoop.structure.HadoopGraph gremlin.hadoop.graphReader=org.janusgraph.hadoop.formats.hbase.HBaseInputFormat #hbase janusgrap...
创建OLAP实例(数据仓库与数据挖掘).doc
06-02
创建OLAP实例（数据仓库与数据挖掘） 本文主要介绍了创建OLAP实例的过程，即数据仓库与数据挖掘。通过使用SQL Server 2005 Management Studio和Business Intelligence Development Studio，完成了数据仓库的基本...
OLAP开发手册.doc
07-10
OLAP开发手册.doc
PB商场零售系统开发实例导航
09-16
PB商场零售系统开发实例导航是面向开发者的一本实践性书籍，主要关注于使用PowerBuilder（PB）工具进行商场零售系统的构建。PowerBuilder是一款强大的、基于事件驱动的编程环境，尤其适用于快速开发数据库应用系统。...
基于DBLP数据的多维异质网络Graph OLAP设计与实现 (2014年)
05-18
为了分析DBLP数据中的多种类型的实体信息，挖掘其中特定的知识，首先根据异质网络Graph OLAP（图联机分析处理）模型，建立相应的数据仓库模型；然后依据实体维的概念，构建多维异质图立方模型；最后针对 Graph OLAP...
SQL_OLAP.zip_olap
09-23
在IT领域，OLAP（Online Analytical Processing，在线分析处理）是数据库管理系统的重要组成部分，尤其在大数据分析和商业智能中发挥着关键作用。SQL作为结构化查询语言，是与数据库交互的标准工具，而SQL_OLAP.zip_...
OLAP应用实例
06-29
OLAP应用实例
[论文笔记]Graph OLAP: 面向图的联机分析处理
qq_39731130的博客
03-13 432
Graph OLAP: Towards Online Analytical Processing on Graphs 研究背景 联机分析处理(OLAP)是数据分析的一种重要方式。传统的OLAP是对相互独立的数据进行处理，即不考虑数据元组之间的关系。比如超市顾客的购物信息，数据仓库保存的是每个顾客购物时购买的商品集合。使用OLAP可以分析商品之间的关系，挖掘出有用的信息供超市老板调整策略。 传统的OLAP并不能很好的适用于图结构的分析，而对图进行信息挖掘的重要性越来越大。作者基于该现状，提出了基于图的联机分析
janusgraph 引入 java_JanusGraph入门第一课和官方文档踩坑
weixin_42361764的博客
03-06 909
入门第一课是在IDEA里创建一个项目，有些小曲折。这里运行的Demo是读取janusgraph示例的“神之图”(Graph of the Gods)数据并打印，采用Hbase+ES组合，JanusGraph版本是0.4.0，诸位可参考以下开始janusgraph的调用之旅~官网Java依赖org.janusgraphjanusgraph-core0.4.0org.apache.tinkerpopg...
HAWQ取代传统数仓实践（十九）——OLAP
wzy0623的专栏
06-14 7281
一、OLAP简介1. 概念        OLAP是英文是On-Line Analytical Processing的缩写，意为联机分析处理。此概念最早由关系数据库之父E.F.Codd于1993年提出。OLAP允许以一种称为多维数据集的结构，访问业务数据源经过聚合和组织整理后的数据。以此为标准，OLAP作为单独的一类技术同联机事务处理（On-Line Transaction Processing，
牛逼级别的----olap 非常好的一篇文章--数据仓库系统的实现与使用(含OLAP重点讲解)
u011500419的专栏
04-16 2198
https://www.cnblogs.com/muchen/p/5318808.html#_label5
基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（三）
wzy0623的专栏
08-25 6375
三、Impala OLAP实例        本节使用前面销售订单的例子说明如何使用Impala做OLAP类型的查询，以及实际遇到的问题及解决方案。为了处理SCD和行级更新，我们前面的ETL使用了Hive ORCFile格式的表，可惜到目前为止，Impala还不支持ORCFile。用Impala查询ORCFile表时，错误信息如下图所示。        这是一个棘手的问题。如果我们再建一套和dw库
OLAP基础
我是小黑，我要发发。
07-06 1338
原文：https://blog.csdn.net/njpjsoftdev/article/details/52953688 联机实时分析(OnlineAnalytical Processing, OLAP (/ˈoʊlæp/))技术是快速响应多维分(Multidimensionalanalysis, MDA)的一种解决方案。  首先，解释下什么是多维分析：多维分析是一种数据分析过程，在此过程中，将...
Oracle OLAP Java API Developer's Guide 11g Release 2 (11.2)-202
最新发布
06-17
e10795-Oracle OLAP Java API Developer's Guide 11g Release 2 (11.2)-202

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值