图数据库
文章平均质量分 89
知识图谱数据库
图特摩斯科技
数据库方向-图数仓的发明者,时序、多维、异构、动态+静态知识图谱数据库AbutionGraph发明者。
展开
-
AbutionGraph新特性-支持动态增删改的scheam free知识结构
采用AbutionGraph的动态schema知识结构,可以更方便的定制化项目,满足上层应用的灵活需求,实现动态的增删改,在需要时随时更改你的schema来适配你的数据。原创 2022-02-07 14:29:43 · 3226 阅读 · 0 评论 -
神图示例-AbutionGraph面向多维图谱的查询语言Aremlin与Gremlin一维的实现入门
AbutionGraph是图特摩斯科技自研的首款GraphaAAbutionAbuGraphgraphHOLAP图数据仓库,面向大规模实时图查询分析,在传统静态数据图谱的基础上,时序多维的动态知识图谱是其一大特色,从底层构建解决和优化一些既往图数据库无法完成的任务,是一款原生图存储系统。维度是数据库的概念,标签是业务上的概念,是对应关系。在大多数场景中,知识数据往往是多维的,就拿以人为中心的图谱画像来说,每个人的数据(金融、购物、出行等)都可能不同,有些人去过医院拥有医疗记录,有些人则没有去过,这样的.原创 2021-06-25 19:09:56 · 1280 阅读 · 1 评论 -
5G难题–如此多的数据,运营商们如何分析所有的这些?图数仓成为关键技术
知识图谱技术已渐渐成为AI的风口,图数据库也站在了数据库领域的浪尖,AbutionGraph作为世界第一款时序动态图数据仓库(时序+图谱+数仓的一种全新数据库存储架构),来看看在电信领域可带来哪些改变。在各个行业中,数据的指数增长一直是21世纪开展业务的标志。组织必须找到新的方法来管理其庞大且不断增长的数据存储,同时将其最有价值的资产(即数据)转换为可行的业务洞察。5G的到来进一步放大了数据的重要性,尤其是在电信领域中,移动运营商想要脱颖而出面临着激烈的竞争,同时,物联网、智能设备和新内容平台也原创 2021-05-31 19:58:53 · 778 阅读 · 5 评论 -
图数据库AbutionGraph的15类60种OLAP图计算图挖掘算法-[构建史上最全的图算法库]
在AbutionGCS中,我们实现了15种算法类型的60多种图挖掘算法,是目前已知公开的最丰富的图挖掘算法库,在AbutionGCS中,主要的功能点包括:实现了存储与计算的分离;支持算法提交时自定义使用CPU内核数量和最大分布式内存空间;两种运行方式,图数据中台接口和开发者模式的嵌入式代码;支持HTTP一键调用、Job任务机制、可视化web任务状态监控;支持二次开发,算法工具化,多种算法结合应用;将AbutionDB图数据与关系型数据表无缝转换;从图谱关系中直接生成子图;计算结果保存图库原创 2021-03-07 14:21:41 · 2645 阅读 · 3 评论 -
还在做Flink+Druid/ES/Hbase的实时数仓吗?AbutionGraph+Flink带您构建流批一体的增强流式知识图谱数据仓库
AbutionGraph是众多国产数据库中新兴的一员,且是唯一一款GraphHOLAP的实时知识图谱数据仓库,将在本文中介绍Abution如何结合Flink(无缝对接Flink-1.12.1)构建增强的流批一体实时数仓。Abution结合Flink和Spark的差异AbutionGraph最初实现了跟Spark的无缝对接,使得我们可以很方便的将图数据与Spark的数据结构GraphX、GraphFrames、DataFrame、RDD互转,格式的转化已经覆盖了Spark的所有格式。对于流式处理.原创 2021-02-19 14:43:51 · 1629 阅读 · 0 评论 -
图数据库AbutionGraph的毫秒级大数据精确去重方案-RoaringBitmap的妙用
AbutionGraph是第一款OLAP实时图数据仓库,可以高效率的满足更多难点问题。基数统计(不重复计数)是一个经典问题,AbutionGraph将其做到了极致的性能:查询响应速度提升几个量级,计算数据量级提升几个数量级,占用存储空间比存储原始集合少几个量级,总的来说,在几百亿的知识图谱数据上,使用AbutionGraph的高基数实时预计算存储技术,使得基数统计(可类比为degree基数)分析时效性提高到了毫秒级。譬如获知“张三”去年和今年都联系过的人有哪些,我们不用像以前把“张三”两年的数据都查出来原创 2021-02-18 13:15:59 · 882 阅读 · 0 评论 -
知识图谱数据库:AbutionGraph,TigerGraph,JanusGraph,Neo4j读写性能基准测试报告
为帮助用户了解AbutionGDB的指标,特将它与Neo4j,JanusGraph,TigerGraph做了读写性能对比测试。其实AbutionGDB与其它图数据库是有着明显差异的,它是唯一面向OLAP场景的图数据仓库,而其它对比者是面向OLTP的图数据库,不过技术架构的不同并不影响读写性能的测试。目录1.测试用数据说明 三2.统计结果说明 四3.AbutionGDB与其他数据库单节点对比测试 四3.1测试环境及步骤说明 四3.2 写入性能对比 五3.2.1 AbutionGDB原创 2020-12-03 23:21:46 · 2586 阅读 · 0 评论 -
知识图谱数据库还有OLTP、OLAP(MOLAP、ROLAP、HOLAP)的区别? 首个实时图数仓架构分析...
面向大规模实时数据分析的HOLAP知识图谱数据仓库AbutionGraph与传统的OLTP图库有什么不同?我们将对OLAP图库的应用场景、面向的客户、实现原理、未来发展做出对比分析。原创 2020-09-29 11:22:26 · 4324 阅读 · 0 评论 -
图谱智能中台AbutionGraph分布式计算引擎 - 边缘计算+时序动态知识图谱~=“数字孪生”
技术概览AbutionGraph是北京图特摩斯科技自研的首款时序动态知识图数据仓库与分析系统。AbutionDB是底层数据的承载,存储包括:动静结合的图谱数据、时间序列数据、KV表格数据、地理空间数据、事件数据、文本数据。AbutionGRS是首个以图谱为核心构建的下一代数据认知中台,是数据的开发层,提供所有大数据以及AI技术的逻辑封装、一键业务功能调用、指标数据查询、数据及资源资产管理等支持。AbutionGraph与外部数据库系统关系图为图谱智能中台AbutionGRS提供快速数据流转的原创 2020-05-23 18:44:37 · 2689 阅读 · 0 评论 -
AbutionDB`知识图谱+时序机器学习特征存储
关于AbutionDBAbutionDB是一个多模态的数据库,支持动静态知识图谱、时序事件数据、空间数据、机器学习特征、关系型数据、文本数据的存储,其中动态知识图谱平台AbutionGraph是一套包含数据采集、存储、计算、分析、监控的闭环大数据解决方案,本文将介绍知识图谱特征及其它用户行为特征在AbutionDB中作为机器学习特征存储的功能。机器学习概念机器学习是教会计算...原创 2020-04-21 11:48:39 · 1721 阅读 · 0 评论 -
[AbutionGraph] 轻松构建以知识图谱为核心的下一代数据中台
作者 | Raini出品 | 北京图特摩斯科技 (thutmose.cn)前言图特摩斯科技(Thutmose)基于自研的图形数据库AbutionGraph(实时多维数据存储与计算一体化的高可用平台)为核心,构建AI智能认知中台(认知图谱平台)来实现业务衔接,它不仅是一个能力中台,也是一个战略中台。作为能力平台,Thutmose认知中台向下作为整合者融合大数据与人工智能技术能力,向...原创 2020-01-11 12:20:32 · 2261 阅读 · 0 评论 -
神奇的HyperLogLog算法【转载 #涉及到数学原理】
什么是HyperLogLog首先,HyperLogLog是一个基数估计算法,并不是统计算法,而且不是数据估计算法,而是基数估计算法。其空间效率非常高,1.5K内存可以在误差不超过2%的前提下,用于超过10亿的数据集合基数估计。如果了解到HyperLogLog算法的空间效率优势后,就急着用其去实现大数据统计需求,经常会得到失望的结果。什么是基数统计呢,要明白这个词本来就区别于个数。比如说一个集合{0...转载 2018-03-06 09:52:27 · 1394 阅读 · 0 评论 -
node2vec: 网络结构特征提取、论文、算法python实现
概述论文主要观点本文将抽取网络中节点的特征转化成最优化一个“可能性”目标函数问题,这个“可能性”是该节点可以保存其邻居节点的信息。成果node2vec,如上述,利用SGD优化,高效“随机选择邻居”算法,可让node2vec可适应不同的网络方法模型定义可能性,并且给予两个条件,构成要优化的目标函数; 条件独立性: 节点之间对称性转载 2017-12-13 09:49:52 · 7000 阅读 · 2 评论 -
谱聚类(spectral clustering)原理+算法流程--总结
谱聚类(spectral clustering)是广泛使用的聚类算法,比起传统的K-Means算法,谱聚类对数据分布的适应性更强,聚类效果也很优秀,同时聚类的计算量也小很多,更加难能可贵的是实现起来也不复杂。在处理实际的聚类问题时,个人认为谱聚类是应该首先考虑的几种算法之一。下面我们就对谱聚类的算法原理做一个总结。1. 谱聚类概述 谱聚类是从图论中演化出来的算法,后来在聚类中转载 2017-10-09 17:10:13 · 9101 阅读 · 0 评论 -
数据结构:图的存储结构之邻接矩阵
图的定义和术语一、图(Graph)是由顶点的有穷非空集合和顶点之间边的集合组成,通常表示为:G(V,E),其中,G表示一个图,V是图G中顶点的集合,E是图G中边的集合。在图中的数据元素,我们称之为顶点(Vertex),顶点集合有穷非空。在图中,任意两个顶点之间都可能有关系,顶点之间的逻辑关系用边来表示,边集可以是空的。二、图按照有无方向分为无向图和有向图。无向图由顶点和边组转载 2017-10-09 11:01:16 · 3832 阅读 · 0 评论 -
AbutionGraph万亿数量毫秒级出入度基数统计算法-1.5K内存存储十亿统计数据
图数据仓库AbutionGraph的万亿数据出入度去重基数实时统计算法,毫秒级响应,不到1K内存,可存储数亿个统计数据。什么是基数?基数是指集合中不同值的数量。例如,在{ 4,3,6,2,2,6,4,3,6,2,2,3}的集合中,基数为4,不同的基数值为4、3、6、2。再如,与A相关的联系{A->B,A->C,A->D,A->B,A->C}中,A联系过哪些人?(B,C,D)改善现有数据库基数实现的理由基数统计具有广泛的应用范围,在数据库中非常重要..原创 2021-02-16 14:09:02 · 568 阅读 · 0 评论 -
[AbutionGraph] 报表制作-使用Grafana动态可视化知识图谱指标
使用开源报表可视化工具Grafana实时监控时序知识图谱数据仓库AbutionGraph中的数据,实时性报表查询, 满足单次百万千万级的数据查询,毫秒级查询延迟,亚秒级对千亿数据量汇总统计,每日过亿报表查询/多维分析/日志分析等数据指标...原创 2020-07-08 18:05:43 · 3508 阅读 · 0 评论 -
1台笔记本 vs 1个Hbase集群 - AbutionGraph图数据库+Flink性能测试
作者 | 闭雨哲出品 | 图特摩斯科技(thutmose.cn)AbutionGraph是图特摩斯自研的时序图数据库,它可以满足永不掉线的实时知识图谱指标计算任务以及历史数据分析,静态图+动态图+时序图同时存储。在面向大规模在线场景时,使用Flink技术做ETL的同时,保证数据接入更稳定且无丢失。目录:测试目的 业务场景 测试过程 AbutionGraph v.s Hb...原创 2020-03-08 18:19:46 · 1077 阅读 · 0 评论 -
[AbutionGraph] 新冠肺炎实时动态时序图谱建模与分析
原文<--观看视觉更佳一、背景介绍新冠肺炎是一种具有最长达24天潜伏期的新型突发性传染疾病,这种特性给疫情防控带来了巨大的挑战,随着感染规模的不断扩增,简单的人为治理已不太奏效,使用“大数据”技术手段来辅助人为治理社会有助于快速准确的定位问题关键,帮助决策者及时作出下一步规划。个人感受:这一个月来每天都会在各大站点查看感染人数的更新、病例的行程发布等等,然而互联信息...原创 2020-02-16 22:00:12 · 6528 阅读 · 2 评论 -
[AbutionGraph] 知识图谱+Flink:大规模实时动态图谱平台的实现
作者 | Raini出品 | 北京图特摩斯科技(www.thutmose.cn)Flink:目前最受关注的大数据技术,最活跃 Apache 项目之一。AbutionGraph:北京图特摩斯科技自研的国内首个准实时多维图形数据库,首个将实时/离线/指标聚合/图挖掘/AI框架等热门技术线深度整合在一起的认知图谱平台,本文仅对实时性的相关优势做分析。AbutionGraph 具有以...原创 2019-12-30 22:28:37 · 4831 阅读 · 0 评论 -
[AbutionGraph] 大规模实时动态时序知识图谱+AI平台
作者 | Raini出品 | 图特摩斯(北京)科技有限公司AbutionGraph是什么?AbutionGraph是一种能对历史和实时数据提供亚秒级别查询的多维图数据存储与分析平台。AbutionGraph支持低延时的数据摄取,灵活的数据探索分析,高性能的数据聚合,简便的水平扩展。高容错的架构在发生代码部署、机器故障以及其他产品系统遇到宕机等情况时,仍能够保持100...原创 2019-12-18 11:48:23 · 6749 阅读 · 0 评论 -
「JanusGraph」图形数据库 - 技术选型调研
JanusGraph各组件版本兼容性匹配表JanusGraphJanusGraph提供多种后端存储和后端索引,使其能够更灵活的部署。本章介绍了几种可能的部署场景,以帮助解决这种灵活性带来的复杂性。在讨论部署场景之前,理解JanusGraph本身的角色定位和后端存储的角色定位是非常重要的。首先,应用程序与JanusGraph进行交互大多数情况下都是进行Gremlin遍历,然后,Jan...原创 2019-02-27 17:14:19 · 3521 阅读 · 0 评论 -
「HugeGraph」图形数据库 - 个人选型文档备份
(仅为个人操作记录使用)安装zookeeper这里安装的是单机模式。版本是zookeeper-3.4.9.tar.gz。已装,步骤略。(看我博客-集群安装)安装Hbase单机模式配置Hbase1.下载:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.1.2/hbase-2.1.2-bin.tar.gz2.~$ g...原创 2019-02-27 17:11:15 · 2248 阅读 · 2 评论 -
图形数据库Neo4j restart --( /var/run/neo4j/neo4j.pid: 没有那个文件或目录
启动Neo4j报错如下:raini@biyuzhe:~$ sudo neo4j restartNeo4j not runningStarting Neo4j.WARNING: Max 1024 open files allowed, minimum of 40000 recommended. See the Neo4j manual./usr/share/neo4j/bin/n原创 2017-09-22 10:08:53 · 1900 阅读 · 0 评论