图特摩斯科技-CSDN博客

原创时序图数仓AbutionGraph在公安金融场景的应用

知识图谱的落地不仅仅是把数据串联起来，更要从时间和空间上分析和探索其中的行为，挖掘更多的指标，真正实现一张网办案。从技术架构的角度，单一依靠一款图数据库只能将线索串联成知识，解决不了资金数据的及时分析，如果采用数据仓库分析行为指标，则难以关联数据进行分析，时序的指标计算可以借助时序数据库做实时监控，但又无法关联数据。现在，借助GraphOLAM时序图数据仓库AbutionGraph，您可以只使用一款数据库即可解决复杂的大数据问题，模型的实现不再局限于技术，而是用户的idea。

2022-03-02 16:38:44 3977 7

原创 AbutionGraph新特性-支持动态增删改的scheam free知识结构

采用AbutionGraph的动态schema知识结构，可以更方便的定制化项目，满足上层应用的灵活需求，实现动态的增删改，在需要时随时更改你的schema来适配你的数据。

2022-02-07 14:29:43 3229

原创 AbutionGraph新特性-Spark3和2版本无感知切换与无缝对接兼容

兼容性问题说明我们在做多种大数据平台混合搭建的时候，首先第一件事是考虑兼容性，比如软件在迭代过程中增加与过时一些功能是家常便饭的事，绝大多数情况下并不会考虑别家的软件底层采用什么版本的框架，比如Jetty、jackson、configuration、guava等等，这些框架是开发大数据系统的必备工具，在AbutionGraph中也是如此，往往会因为这些工具在不同大数据平台上的版本不同而无法开发使用，如Spark3.1中的错误：Exception in thread "main" java.lang

2021-07-25 23:04:54 913 1

原创神图示例-AbutionGraph面向多维图谱的查询语言Aremlin与Gremlin一维的实现入门

AbutionGraph是图特摩斯科技自研的首款GraphaAAbutionAbuGraphgraphHOLAP图数据仓库，面向大规模实时图查询分析，在传统静态数据图谱的基础上，时序多维的动态知识图谱是其一大特色，从底层构建解决和优化一些既往图数据库无法完成的任务，是一款原生图存储系统。维度是数据库的概念，标签是业务上的概念，是对应关系。在大多数场景中，知识数据往往是多维的，就拿以人为中心的图谱画像来说，每个人的数据（金融、购物、出行等）都可能不同，有些人去过医院拥有医疗记录，有些人则没有去过，这样的.

2021-06-25 19:09:56 1281 1

原创 5G难题–如此多的数据，运营商们如何分析所有的这些？图数仓成为关键技术

知识图谱技术已渐渐成为AI的风口，图数据库也站在了数据库领域的浪尖，AbutionGraph作为世界第一款时序动态图数据仓库（时序+图谱+数仓的一种全新数据库存储架构），来看看在电信领域可带来哪些改变。在各个行业中，数据的指数增长一直是21世纪开展业务的标志。组织必须找到新的方法来管理其庞大且不断增长的数据存储，同时将其最有价值的资产（即数据）转换为可行的业务洞察。5G的到来进一步放大了数据的重要性，尤其是在电信领域中，移动运营商想要脱颖而出面临着激烈的竞争，同时，物联网、智能设备和新内容平台也

2021-05-31 19:58:53 780 5

原创实时数仓+知识图谱综合解决方案-首款图数仓AbutionGraph的行业落地报告PPT

AbutionGraph是北京图特摩斯科技研发的一款物联网级的大数据通用图数据库，使知识图谱技术不仅仅局限与关联关系存储的场景，我们可以把其应用到金融风控、车联网、智慧城市(传感器采集监控)等等要求高时效性，快速得出数据明细报表的场景，这是既往图数据库无法涉及的时序数据库领域，对于多技术参与的项目（实时数仓、时序数据库、图数据库、关系型数据库），使用AbutionGraph将会使开发和运维变得很容易，仅使用Abution就能满足所有的技术需求，这是一项革命性的技术，将会使我们的合作客户付出更少成本来获得更

2021-05-11 18:38:30 1697

原创图数据库AbutionGraph的15类60种OLAP图计算图挖掘算法-[构建史上最全的图算法库]

在AbutionGCS中，我们实现了15种算法类型的60多种图挖掘算法，是目前已知公开的最丰富的图挖掘算法库，在AbutionGCS中，主要的功能点包括：实现了存储与计算的分离；支持算法提交时自定义使用CPU内核数量和最大分布式内存空间；两种运行方式，图数据中台接口和开发者模式的嵌入式代码；支持HTTP一键调用、Job任务机制、可视化web任务状态监控；支持二次开发，算法工具化，多种算法结合应用；将AbutionDB图数据与关系型数据表无缝转换；从图谱关系中直接生成子图；计算结果保存图库

2021-03-07 14:21:41 2648 3

原创还在做Flink+Druid/ES/Hbase的实时数仓吗？AbutionGraph+Flink带您构建流批一体的增强流式知识图谱数据仓库

AbutionGraph是众多国产数据库中新兴的一员，且是唯一一款GraphHOLAP的实时知识图谱数据仓库，将在本文中介绍Abution如何结合Flink（无缝对接Flink-1.12.1）构建增强的流批一体实时数仓。Abution结合Flink和Spark的差异AbutionGraph最初实现了跟Spark的无缝对接，使得我们可以很方便的将图数据与Spark的数据结构GraphX、GraphFrames、DataFrame、RDD互转，格式的转化已经覆盖了Spark的所有格式。对于流式处理.

2021-02-19 14:43:51 1633

原创图数据库AbutionGraph的毫秒级大数据精确去重方案-RoaringBitmap的妙用

AbutionGraph是第一款OLAP实时图数据仓库，可以高效率的满足更多难点问题。基数统计（不重复计数）是一个经典问题，AbutionGraph将其做到了极致的性能：查询响应速度提升几个量级，计算数据量级提升几个数量级，占用存储空间比存储原始集合少几个量级，总的来说，在几百亿的知识图谱数据上，使用AbutionGraph的高基数实时预计算存储技术，使得基数统计（可类比为degree基数）分析时效性提高到了毫秒级。譬如获知“张三”去年和今年都联系过的人有哪些，我们不用像以前把“张三”两年的数据都查出来

2021-02-18 13:15:59 883

原创 AbutionGraph万亿数量毫秒级出入度基数统计算法-1.5K内存存储十亿统计数据

图数据仓库AbutionGraph的万亿数据出入度去重基数实时统计算法，毫秒级响应，不到1K内存，可存储数亿个统计数据。什么是基数？基数是指集合中不同值的数量。例如，在{ 4,3,6,2,2,6,4,3,6,2,2,3}的集合中，基数为4，不同的基数值为4、3、6、2。再如，与A相关的联系{A->B,A->C,A->D,A->B,A->C}中，A联系过哪些人？（B,C,D）改善现有数据库基数实现的理由基数统计具有广泛的应用范围，在数据库中非常重要..

2021-02-16 14:09:02 568

原创知识图谱数据库：AbutionGraph,TigerGraph,JanusGraph,Neo4j读写性能基准测试报告

为帮助用户了解AbutionGDB的指标，特将它与Neo4j，JanusGraph，TigerGraph做了读写性能对比测试。其实AbutionGDB与其它图数据库是有着明显差异的，它是唯一面向OLAP场景的图数据仓库，而其它对比者是面向OLTP的图数据库，不过技术架构的不同并不影响读写性能的测试。目录1.测试用数据说明三2.统计结果说明四3.AbutionGDB与其他数据库单节点对比测试四3.1测试环境及步骤说明四3.2 写入性能对比五3.2.1 AbutionGDB

2020-12-03 23:21:46 2589

原创知识图谱数据库还有OLTP、OLAP(MOLAP、ROLAP、HOLAP)的区别？首个实时图数仓架构分析...

面向大规模实时数据分析的HOLAP知识图谱数据仓库AbutionGraph与传统的OLTP图库有什么不同？我们将对OLAP图库的应用场景、面向的客户、实现原理、未来发展做出对比分析。

2020-09-29 11:22:26 4330

原创 [AbutionGraph] 报表制作-使用Grafana动态可视化知识图谱指标

使用开源报表可视化工具Grafana实时监控时序知识图谱数据仓库AbutionGraph中的数据，实时性报表查询, 满足单次百万千万级的数据查询,毫秒级查询延迟，亚秒级对千亿数据量汇总统计，每日过亿报表查询/多维分析/日志分析等数据指标...

2020-07-08 18:05:43 3510

原创图谱智能中台AbutionGraph分布式计算引擎 - 边缘计算+时序动态知识图谱～=“数字孪生”

技术概览AbutionGraph是北京图特摩斯科技自研的首款时序动态知识图数据仓库与分析系统。AbutionDB是底层数据的承载，存储包括：动静结合的图谱数据、时间序列数据、KV表格数据、地理空间数据、事件数据、文本数据。AbutionGRS是首个以图谱为核心构建的下一代数据认知中台，是数据的开发层，提供所有大数据以及AI技术的逻辑封装、一键业务功能调用、指标数据查询、数据及资源资产管理等支持。AbutionGraph与外部数据库系统关系图为图谱智能中台AbutionGRS提供快速数据流转的

2020-05-23 18:44:37 2690

原创 AbutionDB`知识图谱+时序机器学习特征存储

关于AbutionDBAbutionDB是一个多模态的数据库，支持动静态知识图谱、时序事件数据、空间数据、机器学习特征、关系型数据、文本数据的存储，其中动态知识图谱平台AbutionGraph是一套包含数据采集、存储、计算、分析、监控的闭环大数据解决方案，本文将介绍知识图谱特征及其它用户行为特征在AbutionDB中作为机器学习特征存储的功能。机器学习概念机器学习是教会计算...

2020-04-21 11:48:39 1722

原创 1台笔记本 vs 1个Hbase集群 - AbutionGraph图数据库+Flink性能测试

作者 | 闭雨哲出品 | 图特摩斯科技（thutmose.cn）AbutionGraph是图特摩斯自研的时序图数据库，它可以满足永不掉线的实时知识图谱指标计算任务以及历史数据分析，静态图+动态图+时序图同时存储。在面向大规模在线场景时，使用Flink技术做ETL的同时，保证数据接入更稳定且无丢失。目录：测试目的业务场景测试过程 AbutionGraph v.s Hb...

2020-03-08 18:19:46 1077

原创 [AbutionGraph] 新冠肺炎实时动态时序图谱建模与分析

原文<--观看视觉更佳一、背景介绍新冠肺炎是一种具有最长达24天潜伏期的新型突发性传染疾病，这种特性给疫情防控带来了巨大的挑战，随着感染规模的不断扩增，简单的人为治理已不太奏效，使用“大数据”技术手段来辅助人为治理社会有助于快速准确的定位问题关键，帮助决策者及时作出下一步规划。个人感受：这一个月来每天都会在各大站点查看感染人数的更新、病例的行程发布等等，然而互联信息...

2020-02-16 22:00:12 6531 2

原创 [AbutionGraph] 轻松构建以知识图谱为核心的下一代数据中台

作者 | Raini出品 | 北京图特摩斯科技（thutmose.cn）前言图特摩斯科技（Thutmose）基于自研的图形数据库AbutionGraph（实时多维数据存储与计算一体化的高可用平台）为核心，构建AI智能认知中台（认知图谱平台）来实现业务衔接，它不仅是一个能力中台，也是一个战略中台。作为能力平台，Thutmose认知中台向下作为整合者融合大数据与人工智能技术能力，向...

2020-01-11 12:20:32 2261

原创 [AbutionGraph] 知识图谱+Flink：大规模实时动态图谱平台的实现

作者 | Raini出品 | 北京图特摩斯科技（www.thutmose.cn）Flink：目前最受关注的大数据技术，最活跃 Apache 项目之一。AbutionGraph：北京图特摩斯科技自研的国内首个准实时多维图形数据库，首个将实时/离线/指标聚合/图挖掘/AI框架等热门技术线深度整合在一起的认知图谱平台，本文仅对实时性的相关优势做分析。AbutionGraph 具有以...

2019-12-30 22:28:37 4832

原创 [AbutionGraph] 大规模实时动态时序知识图谱+AI平台

作者 | Raini出品 | 图特摩斯（北京）科技有限公司AbutionGraph是什么?AbutionGraph是一种能对历史和实时数据提供亚秒级别查询的多维图数据存储与分析平台。AbutionGraph支持低延时的数据摄取，灵活的数据探索分析，高性能的数据聚合，简便的水平扩展。高容错的架构在发生代码部署、机器故障以及其他产品系统遇到宕机等情况时，仍能够保持100...

2019-12-18 11:48:23 6751

原创知识图谱「技术」～

知识图谱与图挖掘技术QQ交流群2：529757057bo主w~x：lovebyz99(交流请备注，对创业有想法欢迎联系)Breaking\Locking\Popping、AI、算法、大数据、前端、后端、知识图谱、微服务、云计算、区块链。。。...

2019-07-17 15:59:27 723

原创使用Py-OpenCV（SIFT关键点）实现自然图像中的logo商标识别和定位

logo是包含了颜色、形状、特征等信息的图形实体。logo检测有很多挑战，比如视角变化、弯曲、形状和颜色的变化、遮挡、背景变化等。下图是我跑的一个（百度随便找的，非项目图）识别一般的效果图，虽然可以识别出指定的logo（1中左图），也受到logo多余部分的影响，最终匹配获取的logo区域有所放大，仔细观察发现logo外围区域颜色都是自下而上渐变变淡，野点（离群点）阈值不够，导致识别区域多了一部...

2018-12-14 15:37:00 12949 7

原创使用（SIFT特征KMeans聚类关键点训练SVM）实现自然图像中的logo商标识别和定位

（本博客只记录方法，因为本人觉得这是机器学习特征工程中一种比较不错的做法）上一篇博客中的方法：使用Py-OpenCV（SIFT关键点）实现自然图像中的logo商标识别和定位当然也能提前欲知该方法的缺点，对于新的logo需要重新训练模型，而且所需的数据集远大于上面的方法。实现方法：bb = [v for v in image_to_descriptors.values()]...

2018-12-14 15:31:58 6102 5

原创主流深度学习OCR文字识别方法对比：Tesseract（LSTM）、CTPN+CRNN、Densenet

作者 | Raini出品 | 北京图特摩斯科技有限公司（www.thutmose.cn）也是几个月前的项目了，由于手头事儿多，也已经转交给别的同事去继续优化。本博客仅做个简单的记录用。这里是Tesseract（LSTM）、CTPN+CRNN、Densenet三个方法测试结果对比（结果不是最优，代码也经过优化）:PS：官方Tesseract-4.0需要Ubuntu-18...

2018-12-11 20:07:06 45334 51

原创［OpenCV_GrubCut］实现交互式图像分割提取前景--Python抠图

这部分内容是几个月前做的项目，一直没时间整理记录，在这里随便写一下方便日后回忆．＂GrabCut＂：使用迭代图形切割的交互式前景提取工具，用于在分割任务中按像素标记图像数据．OpenCV官网例子算法过程：首先，输入矩形框，矩形框外部区域都是背景。内部一定包含前景。电脑对输入图像进行初始化，标记前景和背景的像素。使用高斯混合模型（GMM）对前景和...

2018-12-07 14:58:49 8011 6

原创分布式算法调参神器HyperOptSearch-[增强学习Ray.tune]-使用XGboost举例

分布式增强学习Ray.tune调参神器HyperOptSearch近日在研究分布式增强学习框架Ray.tune（深度学习参数优化）模块时，发现里面使用的HyperOptSearch其实是基于HyperOpt（最后章节讲解）（https://github.com/hyperopt/hyperopt）支持的SearchAlgorithm，用于执行基于模型的顺序超参数优化，但是又结合了一些新的算法进...

2018-12-06 18:22:18 4497 10

原创 [SemanticSoftSegmentation：语义软分割]-2018最强图像分割光谱消光算法调研与测试

SSS据说是迄今为止效果最好的图像分割算法，效果超过Mask-RCNN，我们来研究一下下。（项目测试结果在最后）Github项目：https://github.com/yaksoy/SemanticSoftSegmentation算法主要处理步骤：特征降维，从128维特征降到3维。超像素处理，用于计算Superpixels。计算仿射变换和 Laplacian，包括：Matting ...

2018-11-27 19:07:06 5122 6

原创 Spark持续流处理与Flink比对

Spark流处理Spark从2.3版本开始引入了持续流式处理模型，可将流处理延迟降低至毫秒级别，让 Structured Streaming 达到了一个里程碑式的高度；使用 Pandas UDF 提升 PySpark 的性能；为 Spark 应用程序提供 Kubernetes 原生支持。出于某些原因的考虑，Spark 引入 Structured Streaming 将微批次处理从高级...

2018-11-19 19:41:17 3719

原创基于LBP纹理特征计算GLCM的纹理特征统计量+SVM/RF识别纹理图片

## 局部特征检测方法斑点 Blob检测，LoG检测， DoG，DoH检测，SIFT算法，SUFT算法边缘检测梯度边缘检测算子，拉普拉斯算子，LoG检测，Canny边缘检测算子，Roberts,Sobel,Prewitt,角点检测 Kitchen-Rosenfeld，Harris角点，多尺度Harris角点，KLT,SUSAN检测算子，Shi-Tomasi将基于主分量分析和Fisher线性鉴别分析所获得的特征抽取方法，统称为线性投影分析。这些方法与本文无太大关系，主要用于Logo检

2018-11-13 18:56:35 34913 11

原创 [MMLSpark]使用Spark Serving将模型部署为实时的Web服务

新东西，我们一起来尝鲜～～使用人口普查数据集(点击可下载)预测收入我们将使用Spark Serving将其部署为实时的Web服务。首先，我们导入所需的包：import sysimport numpy as npimport pandas as pdimport mmlspark...

2018-10-25 17:58:09 4457 5

原创大数据平台搭建：Hadoop-3.x + Spark-2.x + Hive-2.x + Hbase-1.4 + Phoenix-4.14 + Cassandra + ES

换了新笔记本，做个笔记。一，软件准备（自取所需）Java-1.8Scala-2.11Hadoop-3.1.1Spark-2.3.2Hive-2.3.4phoenix二，SSH免密码登录（即使是当地的单机也需要SSH，否则格式化的hadoop的存储系统时无权限，导致失败：本地主机：@localhost：权限被拒绝（公钥，密码）开始）ssh免密两步骤（...

2018-10-24 18:28:24 6508 4

原创 AI 多类分类(multi-class) and 多标签分类(mulit-label) and 多输出-多分类-多标签classification

一些知识点：sigmoid和softmax是神经网络输出层使用的激活函数，分别用于两类判别和多类判别。binary cross-entropy和categorical cross-entropy是相对应的损失函数。对应的激活函数和损失函数相匹配，可以使得error propagation的时候，每个输出神经元的“误差”（损失函数对输入的导数）恰等于其输出与ground truth之差。...

2018-07-17 16:54:43 21671 8

原创 Mask R-CNN 训练自己的数据集—踩坑与填坑

作者 | Raini出品 |北京图特摩斯科技有限公司（thutmose.cn）tensorflow/keras版（项目地址https://github.com/matterport）。服务器cuda为8.0版本，尝试升级成9.1没成功，之后再降级回8.0了，python版本一开始为py36，提示错误libcublas.so.8.0:cannot open shared object...

2018-04-28 18:26:59 29977 77

原创 HybridRAG：VectorRAG+GraphRAG在时序向量图谱数据库AbutionGraph中的一体化实现（LLM-RAG最新技术方案）

AbutionGraph-时序/向量/图谱数据库的一体化GraphRAG实现方案介绍，利用图向量&向量图谱存储，可以轻松地保存向量和摘要并自动完成合并更新，实现一键相似度检索知识库，简化HybridRAG（VectorRAG+GraphRAG）的实现，使其构建知识库更加高效简便和降低LLM行业垂直应用落地门槛。

2024-09-05 17:27:02 920

原创 AbutionGraph时序(流式)图数据库开发文档地址

AbutionGraph-时序(流式)图数据库，官方开发文档(API)地址：http://www.thutmose.cn

2024-07-25 15:03:36 217

原创时序(流式)图谱数据仓库AbutionGraph功能介绍-Streaming Graph OLAM Database

AbutionGraph具有多种数据库的特性，除传统图谱数据存储模型外，Abution的目标是以足够低的延迟（亚秒级）来服务大规模图谱数据（达BP级）的实时决策分析。AbutionGraph特别适用于业务指标系统建设、实时交互式数据分析、可视化大屏展现、IOT流式数据监测、拓扑数据动态行为计算、相同点边id的数据根据标签分类管理等等。AbutionGraph使用Java/C++开发，支持Aremlin、Gremlin、GraphQL查询语法，并支持与Java进行混合编程开发和Python API。

2024-06-28 15:45:03 1174

ubuntu版64位 cuda8 和cudnn 6 百度网盘下载

空空如也