- 博客(110)
- 收藏
- 关注
原创 华为云FusionInsight MRS HDFS组件数据存储策略配置指导
操作场景默认情况下,HDFS NameNode自动选择DataNode保存数据的副本。在实际业务中,可能存在以下场景:DataNode上可能存在不同的存储设备,数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同,数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器,关键数据需要保存在具有高度可靠性的机架组中。对系统的影响配置HDFS数据存储策略需要重启服务,服务重启时无法访问。前提条件管理员已根据业务需要
2022-03-29 10:54:15
2143
原创 华为云FusionInsight MRS的自研调度器Superior Scheduler
Superior Scheduler是一个专门为Hadoop YARN分布式资源管理系统设计的调度引擎,是针对企业客户融合资源池,多租户的业务诉求而设计的高性能企业级调度器。Superior Scheduler可实现开源调度器、Fair Scheduler以及Capacity Scheduler的所有功能。另外,相较于开源调度器,Superior Scheduler在企业级多租户调度策略、租户内多用户资源隔离和共享、调度性能、系统资源利用率和支持大集群扩展性方面都做了针对性的增强。设计的目标是让Super
2022-03-29 10:36:35
445
原创 华为云PB级数据库GaussDB(for Redis)第13期:如何解决推荐系统存储难题
一、推荐偏差引发的思考七夕过后,笔者的一个朋友遇到了尴尬事:当女友点开他的购物APP,竟然自动弹出一系列推荐:玫瑰包邮、感动哭了、浪漫小夜灯……回想七夕那天,礼物并没有出现,于是问题出现了:从实招来,你送谁了?为了帮助友人重建信任,笔者进行了一番技术调研:这一定是“推荐系统”出了偏差。推荐系统是一种信息过滤系统,它能够快速分析海量用户行为数据,预测出用户喜好,从而进行有效推荐。在商品推荐、广告投放等业务中,推荐系统责任重大。根据亚马逊2019年度报告,其40%的营收来
2022-03-29 10:27:54
422
原创 【华为云会议开发指南】App ID鉴权介绍
为了降低第三方应用集成华为云会议难度,并且提升开放接口的安全性,华为云会议开放能力中支持基于App ID的鉴权方式。App ID是一个应用的标识,同一个App ID可以同时在第三方的桌面终端、移动终端、Web应用上使用。App ID鉴权原理图1 第三方客户端App ID鉴权流程鉴权前提:开发者在华为云会议控制台上为自己的应用申请AppID,并获取App ID和App Key。开发者在自己的服务端集成Signature生成算法,请参考“第三方服务集成Signature生成算法”。SDK初始化时传
2022-03-28 18:23:59
3680
原创 苏光牛:全面数字化时代,金融核心业务系统数据库如何选型?
在新一轮科技革命和产业变革的背景下,全球企业进入数字化时代,全球的营商环境发生了很大的变化,金融业需要加速进入智能化升级时代。此外,由于金融是国家经济的基础,结合营商环境,需要跟上产业的变革转型,增强金融产品的核心竞争力。金融业的信息化建设思路一直走在前沿,早在十多年前,各家金融企业就开始思考以云和分布式的技术作为企业数字化转型的基石,结合自身应用特性构建大规模、自主可靠、灵活高效的企业级金融云平台,实现传统架构的转型,推进IT系统向快速响应、弹性伸缩、高可用、低成本的云计算环境发展。信息化的转型绕不开
2022-03-28 14:34:23
1914
原创 【华为云会议开发指南】开发流程
*图1*开发流程开发前准备注册华为云账号登录华为云官网,单击“注册”,按照界面提示完成华为云的注册。成功注册后请尽快完成“企业实名认证”,认证过程请参考“企业帐号如何完成实名认证”。开通华为云会议企业管理员帐号正式商用订购华为云会议服务。如何订购,请参考如何购买会议套餐。免费试用说明:自助申请免费注册功能仅在中国站放开了,如果需要在国际站申请免费试用企业请联系华为销售人员。用步骤1中申请的华为云账号登录华为云官网后,进入“华为云会议官网”页面。点击“免费体验”。注.
2022-03-28 11:26:44
821
原创 【华为云会议开发指南】最佳实践
开放性应用实践概览华为云会议提供了服务端API开放和客户端SDK开放,开发者基于自己的应用场景可以灵活地集成华为云会议的开放性接口。本文介绍了几个基于华为云会议集成的最佳实践,帮助开发者了解几种典型场景下的集成方案,以管窥豹,快速掌握基于华为云会议的集成开发能力。图1 开放性应用实践概览表1 服务端API集成实践,它可以指定任意值,只要查询的时候指定相应的分区键来查询即可。我们可以对分区进行添加、删除、重命名、清空等操作。分为静态分区和动态分区两种,静态分区与动态分区的主要区别在于静态分区是手动指定,而动态分区是通过数据来进行判断。详细来说,静态分区的列实在编译时期,通过用户传递来决定的;动态分区只有在 SQL 执行时才能决
2022-03-28 09:33:20
6415
原创 Apache HBase MTTR 优化实践
HBase介绍HBase是Hadoop Database的简称,是建立在Hadoop文件系统之上的分布式面向列的数据库,它具有高可靠、高性能、面向列和可伸缩的特性,提供快速随机访问海量数据能力。HBase采用Master/Slave架构,由HMaster节点、RegionServer节点、ZooKeeper集群组成,底层数据存储在HDFS上。整体架构如图所示:HMaster主要负责:在HA模式下,包含主用Master和备用Master。主用Master:负责HBase中RegionServe
2022-03-28 08:58:27
387
原创 技术架构+应用场景,为什么高斯Redis比开源香?
点的外卖总能让离店近的外卖小哥送来,双11秒杀结束后产品能立刻下架,12306火车票保证从来不超卖,微博下拉就能刷新出好友动态……这些日常碎片的背后都有着Redis的身影。提起Redis,互联网从业者无人不知,无人不晓。毕竟,开源Redis作为一款经典的“缓存”产品,能支撑众多业务架构搭建,在游戏、电商、社交媒体等行业中发挥着重要的作用,广受开发者青睐。然而近年来,随着各行业规模逐渐扩大,几乎只能依附于关系型数据库的传统“缓存”逐渐难以支撑上层业务,越来越力不从心。一旦业务规模扩大后数据量逼近内存上限
2022-03-27 10:50:55
285
原创 专访丨华为云GaussDB苏光牛:发挥生态优势,培养应用型DBA
*导 读·*近期,受墨天轮平台邀请,华为云数据库业务负责人苏光牛先生接受了其策划的“国产数据库”话题专访,就一些与国产数据库相关的社会讨论度较高、网友较为关心的问题做了分享,阐释了华为云数据库的产品策略,并从数据库产品负责人的角度给出了一些更深层次的独到见解。人物简介华为云数据库业务负责人苏光牛负责华为云数据库业务的战略制定与发展,数据库云服务产品与解决方案研发、运营、运维和交付等。采访视频以下视频来源于数据库国产化 视频加载失败,请刷新页面重试[刷新](javascript:v...
2022-03-27 10:48:57
718
原创 华为云GaussDB(for Redis)发布全新版本,两大核心特性正式亮相
近日,华为云GaussDB(for Redis)正式推出全新版本。新版本内核带来性能提升、无损升级、慢日志统计等多维度产品体验,同时推出Lua脚本和SSL连接加密两大重要功能,让业务设计更加灵活,公网访问更安全。图片GaussDB(for Redis)是华为云推出的企业级分布式KV数据库,它完全兼容Redis协议,提供丰富的数据类型,同时基于云原生存储计算分离架构,在成本、可靠性等方面为企业带来全新价值,此番推出的两大功能特性更是为企业业务发展带来全新体验。Lua脚本功能:业务设计更灵活GaussD
2022-03-27 10:45:45
343
原创 基于MRS-ClickHouse构建用户画像系统方案介绍
业务场景用户画像是对用户信息的标签化。用户画像系统通过对收集的各维度数据,进行深度的分析和挖掘,给不同的用户打上不同的标签,从而刻画出客户的全貌。通过用户画像系统,可以对各个用户进行精准定位,从而将其应用于个性化推荐、精准营销等业务场景中。用户画像系统已经被各个企业广泛采用,是大数据落地的重要方式之一。在移动互联网时代,用户数量庞大,标签数量众多,用户标签的数据量巨大。用户画像系统中,对于标签的存储和查询,不同的企业有不同的实现方案。当前主流的实现方案采用ElasticSearch方案。但基于Elast
2022-03-26 09:32:37
1024
原创 数据实时同步中的一种特殊场景说明及处理方法
数据实时同步简要介绍:数据同步或数据集成一般选用两类技术或工具,即:1、ETL(Extract-Transform-Load)工具,它是将数据从源系统加载到数据仓库的过程。用来描述将数据从来源端经过萃取(extract)、转置(transform)、加载(load)至目的端的过程。2、CDC工具,全称Change Data Capture,变更数据捕捉,从数据库内部捕捉变更数据,将变更数据推送到推送到目的库中。CDC机制速度极快,数据精准,且与应用程序耦合少,可抽象脱离业务系统。实时同步场景中因对数
2022-03-26 09:31:48
786
原创 跨越迁移“鸿沟”,华为云DRS给你“稳稳的迁移”
数字化潮流浩浩汤汤,企业上云如火如荼,网约车行业也借助这一股东风展现出了蓬勃的生命力,因为它的高效便捷,吸引了越来越多的都市人体验。T3出行是南京领行科技股份有限公司打造的智慧出行生态平台,公司以“科技引领 愉悦出行”为使命,致力于成为能够为用户提供“安全、便捷、品质”出行服务的科技创新型企业。随着业务扩张和用户数量的增加,T3出行原系统在支撑海量数据和提供出行服务方面压力增大。为满足业务发展,提供安全高效的出行服务,T3出行开始对出行产品进行迭代更新,而华为云也在这段升级之旅中发挥了巨大作用。重
2022-03-26 09:29:59
412
原创 斗罗大陆真3D手游实力上线,带你感受魂兽猎杀的超燃时刻
“没有废物的武魂,只有废物的魂师!” “不流血,不痛苦,怎么走自己的路。”“史莱克学院,唐三参战!”如果有人对这些话耳熟能详,那一定是斗罗大陆的忠实粉丝。唐三,天生满魂力,双生武魂,外附魂骨,不夸张地说,这个名字承载了一代人的青春回忆。他,就是大型玄幻小说《斗罗大陆》中的主人公。“你我皆唐门,觉醒现世中”。在众多忠实粉丝的千呼万唤下,由小说正版授权改编的《斗罗大陆-斗神再临》真3D手游终于迎来了面世。《斗罗大陆-斗神再临》是全球化IP游戏生态公司——中手游打造的又一爆款IP游戏。作为一款魂兽猎杀、开放
2022-03-26 09:28:24
256
原创 华为云会议的开放能力
华为云会议提供服务端开放和客户端开放,开发者可以根据业务的需要使用对应的接口集成开发。服务端集成:华为云会议提供服务端REST接口开放,包括企业管理、用户管理、通讯录管理、会议管理、会议控制、仪表盘、网络研讨会管理等能力。第三方业务系统(包括业务后台或者终端App)可以调用相关接口实现自己的业务逻辑。客户端SDK集成:华为云会议提供了客户端SDK开放,开发者可以在自己开发的App上集成华为云会议的视频会议能力,实现创会、入会、会控等功能。SDK中已经集成了入会后的UI,第三方App只需调用少量接口就
2022-03-26 09:24:32
187
原创 华为云会议的开放能力
华为云会议提供服务端开放和客户端开放,开发者可以根据业务的需要使用对应的接口集成开发。服务端集成:华为云会议提供服务端REST接口开放,包括企业管理、用户管理、通讯录管理、会议管理、会议控制、仪表盘、网络研讨会管理等能力。第三方业务系统(包括业务后台或者终端App)可以调用相关接口实现自己的业务逻辑。客户端SDK集成:华为云会议提供了客户端SDK开放,开发者可以在自己开发的App上集成华为云会议的视频会议能力,实现创会、入会、会控等功能。SDK中已经集成了入会后的UI,第三方App只需调用少量接口就
2022-03-26 09:16:53
267
原创 大数据资源管理方案研究
1.研究背景在实际的大数据工程部署中,多个业务部门经常需要运行多个数据应用,在搭建Hadoop集群时,经常面临如何划分大数据集群及进行资源隔离的问题。另外,由于预算有限等原因,数据运维部门也有控制预算,减少大数据集群节点个数,同时保证重点业务性能等诉求。现有大数据集群一般支持2种资源管理方式,包括物理多租和逻辑多租,分别介绍如下。在物理多租模式中,每个租户拥有自己的MRS集群,资源和数据物理隔离。它的特点如下:租户间的资源完全物理隔离,隔离级别较高,租户间完全互不影响;但空闲资源无法供其他租户使用,
2022-03-26 09:15:23
969
原创 一种大数据物理机集群的自动化运维管理办法
大数据集群的物理机部署形态,相对于公有云/混合云的云主机部署形态,在自动化发放集群、弹性伸缩等云化场景方面处于劣势,但物理机部署形态的大数据集群能够更加充分高效的利用服务器资源,不存在云化/虚拟化的开销,同时服务器的异构能力更强。早期交付的很多大数据集群均是物理机部署形态,如浙江移动大数据集群、广东移动大数据集群、工行大数据集群、招行大数据集群等。针对这些存量大数据集群,以下介绍一种自动化运维管理办法,来提升运维效率、集群资源利用率,降低集群的资源消耗。该自动化运维管理办法包含以下4个方面的功能:1
2022-03-26 09:14:38
404
原创 关系数据库数据入湖的场景及方案总结
关系数据库的数据入湖,有多种场景、多种工具、多种入湖时效要求等,本文梳理相关场景,以及对应的建议方案。首先介绍下两种入湖工具:批量数据迁移工具(如CDM)和实时数据接入工具(如CDL)。批量数据迁移工具,可以一次全量、一次全量+批次增量的方式将数据从关系数据库的数据迁移到数据湖,往往入湖时效性(从数据产生到数据进入数据湖贴源层)在10多分钟或更长,如15分钟左右,取决于批次增量迁移任务的时间间隔。以下是批量数据迁移工具(CDM)的功能架构图:实时数据接入工具(如CDL),可以实时捕获关系数据库的bi
2022-03-26 09:11:48
2582
原创 华为云FusionInsight MRS实战 - Hudi实时入湖之DeltaStreamer工具最佳实践
背景传统大数据平台的组织架构是针对离线数据处理需求设计的,常用的数据导入方式为采用sqoop定时作业批量导入。随着数据分析对实时性要求不断提高,按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的(准)实时同步系统的开发。然而实时同步从一开始就面临如下几个挑战:小文件问题。不论是spark的microbatch模式,还是flink的逐条处理模式,每次写入HDFS时都是几MB甚至几十KB的文件。长时间下来产生的大量小文件,会对HDFS namenode产生巨大的压力
2022-03-26 09:11:12
978
原创 权威认可~华为云GaussDB两大数据库通过信通院最新评测
近期,中国信通院公布了第十三批数据库产品基础能力、性能和稳定性评审结果。在本次评审会的关系型云数据库基础能力评测项目中,华为云 GaussDB(for MySQL)数据库和 GaussDB(for openGauss)数据库凭借卓越的产品特性,经过严格的产品资料审核、测试报告审核、参评厂商答辩、质询与答疑、集中评议五个环节,获得专家团队的一致认可。这不仅代表着该两款数据库达到行业公认水平,更是对华为云数据库多年来技术能力的高度认可。此次评测范围包括基本功能、兼容能力、高可用能力、云服务能力、安全性服务要求
2022-03-25 09:49:39
654
原创 华为云GaussDB技术创新持续发力,荣膺DTCC2021创新大奖
近日,在第十二届DTCC中国数据库技术大会“2021技术卓越奖”评选活动中,华为云GaussDB(for openGauss)同城双集群RPO=0高可用方案凭借卓越的高可用技术和完善的技术架构荣获“年度最佳创新解决方案奖”。第十二届DTCC中国数据库技术大会是由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的数据库领域顶级盛会,经过数十年的积累与沉淀,已成为国内数据库领域的技术风向标,见证了整个行业的发展和变革。大会历年来颁发的奖项更是成为数据技术领域的权威奖项。华为云数据库数十位技
2022-03-25 09:43:22
245
原创 华为云苏光牛:生态建设是数据库产业发展非常重要的一环
12月23-24日,2021数据技术嘉年华(DTC)将盛大开启,围绕“智能·创新·新生态——数据智领未来 生态共创价值”这一主题,来自数据领域的领军人物、学术精英、技术专家、行业实践者、生态布道者将带来超过60场主题演讲。华为云数据库服务总经理苏光牛接受组委会专访,就当前数据库行业的基机遇与挑战,分享华为云数据库的战略布局与生态建设。专访如下:在产业数字化转型的重要关口,全球科技竞争日益激烈。国产化替代推动了中国数据库需求爆发式增长,国内数据库厂商迎来了政策和市场的红利期。站在国产化替代的风口,机遇与挑
2022-03-25 09:31:50
369
原创 华为云企业级Redis:助力VMALL打造先进特征平台
01客户介绍华为商城(VMALL)是华为公司旗下自营及精选好物的官方电商平台,本着“智慧生活、精选好物”的理念,为消费者提供最齐全的华为品牌产品及鸿蒙生态产品,覆盖了办公、出行、居家、运动、娱乐等生活需求,致力于将全场景智慧生活带给更多的消费者。云数据库GaussDB(for Redis)作为华为云旗下企业级Redis,致力于为客户提供稳定可靠、超高并发,且能够极速弹性扩容的KV存储服务。GaussDB(for Redis)在VMALL特征工程平台建设中,起到了关键作用。02业务痛点VMALL使用了
2022-03-25 09:21:44
183
原创 10位GaussDB大咖金句,哪句最打动你?
DTCC2021 各位技术大咖各显所长奉献了一场场精彩绝伦的视听盛宴我们收集了10位GaussDB大咖的高能金句看看哪句最能打动你本文由华为云发布。
2022-03-25 09:20:14
112
原创 GaussDB数据库培训服务上线,技能进阶修炼正当时
近日,华为云宣布GaussDB数据库培训服务上线,面向高校师生和企业开发/运维人员提供专业的数据库培训服务。本次上线的数据库培训服务主要包括华为openGauss数据库工程师培训(HCIA-openGauss)、华为GaussDB数据库工程师培训(HCIA-GaussDB)、华为GaussDB数据库高级工程师培训(HCIP-GaussDB-OLTP)等3项课程,涵盖数据库基础知识、GaussDB数据库产品介绍及SQL语法、性能调优、数据库关键特性解析等内容,全方位解锁数据库知识,让您轻松Get数据库专业技
2022-03-25 09:19:42
1348
原创 华为云数据库内核专家为您揭秘MySQL Volcano模型迭代器性能提升千倍的秘密
林舒,20年以上数据库内核研发经验。原IBMDB2数据库内核专家,专长数据库内核性能优化、SQL查询优化、MPP分布式数据仓库技术等。现就职于华为加拿大研究所,全程参与了RDS for MySQL以及GaussDB(for MySQL)的研发工作,熟悉GaussDB(for MySQL) 全栈技术。负责NDP的总体架构设计和实现,并成功落地上线。拥有多项技术发明专利,并co-author了SIGMOD 2020 Taurus( GaussDB(for MySQL)) Paper,目前专注于下一代云数据库智.
2022-03-25 09:18:36
388
原创 新数科技加入华为云“沃土云创计划”,携手共创商业新机
近日,北京新数科技有限公司(简称:新数科技,英文名称:ShinData)加入华为云“沃土云创计划”,在云化升级和信创数据库产品方面展开更进一步的合作,共同助力商业成功。新数科技是业内数据库管理软件创新引领企业,产品涵盖数据库dbPaaS云管理平台、数据迁移传输平台、数据库安全管控平台和ShinDB数据库解决方案等,广泛应用于金融、制造、能源、零售和通信等行业,为广大企业在新时期云计算、大数据、人工智能等环境下的数据库基础软件转型变革提供持久源动力。新数科技产品ShinData DMP数据库云管理平台以及
2022-03-24 15:25:32
205
原创 华为云“DDoS高防+CDN”联动
操作场景如果您的业务(如视频、电商平台)有大量图片或视频等资源需要为用户展示,且希望这些资源可以被用户快速获取。您可以使用华为云“DDoS高防+CDN”联动方案,使这些资源快速被用户获取,同时提高用户登录平台和支付能力等业务系统的网络能力,保证平台稳定运行。使用场景说明当用户的视频、电商等业务系统可以通过域名区分动静态资源,可以使用“DDoS高防+CDN”联动方案,实现原理图如图1所示,动静态资源相关说明如表1所示。须知:部分平台业务系统的动静态资源采用一套域名,没有做动静态资源分离,这种情况无法
2022-03-24 10:12:31
4792
原创 再一次打破局限:“华为云会议”和“畅连”到底连接了什么?
在线办公常态化的持续驱动下,视频会议玩家云集,从互联网、科技大厂到中小创新企业纷纷入局,行业的“红海”迹象已经十分明显,且由于通常的远程会议所具备的基本要素十分类似,行业也表现出某种同质化迹象。然而,这可能只是表象。一方面,随着视频会议产品逐步走向成熟,新的细分赛道上的角逐开始显现,最典型的莫过于智能会议室解决方案,可以称得上是红海中的一片蓝海,抢先布局的玩家仍有很大的机会空间;另一方面,在视频会议产品逐步实现更广泛的人群落地后,关于视频会议的设备连接能力和设置,不同厂商的做法表现出很大的不同,这使得
2022-03-24 09:57:39
809
原创 图数据库的易用性—GES与Flink的对接
数字化时代,业务的实时处理需求越来越迫切,实时预警、实时风控、实时推荐等,Flink作为新一代流批统一的计算引擎,具有独特的天然流式计算特性和更为先进的架构设计的特点,它可以从不同的第三方存储引擎中读取数据,进行处理,然后再写出到另外的存储引擎中。GES拥抱变化,开发了与Flink的对接工具GES-Flink-Connector。GES-Flink-Connector是一款自定义的离线/实时数据同步Flink连接器(connector),用于外部数据源与GES图数据库的数据同步。Connector的作用就
2022-03-24 09:54:00
1512
原创 华为云CDN加速WAF防护资源实践
前提条件已经按照域名准入要求准备好需要接入的域名和华为云账号。已购买WAF。已开通CDN服务。背景信息CDN是构建在现有互联网基础之上的一层智能虚拟网络,通过在网络各处部署节点服务器,实现将源站内容分发至所有CDN节点,使用户可以就近获得所需的内容,所以接入CDN的网站都能有比较快的响应速度。Web应用防火墙(WAF:Web Application Firewall),通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、
2022-03-24 09:44:52
5467
原创 性能提升100倍,GaussDB(for MySQL)近数据处理(NDP)解锁查询新姿势
林舒,20年以上数据库内核研发经验。原IBMDB2数据库内核专家,专长数据库内核性能优化、SQL查询优化、MPP分布式数据仓库技术等。现就职于华为加拿大研究所,全程参与了RDS for MySQL以及GaussDB(for MySQL)的研发工作,熟悉GaussDB(for MySQL) 全栈技术。负责NDP的总体架构设计和实现,并成功落地上线。拥有多项技术发明专利,并co-author了SIGMOD 2020 Taurus( GaussDB(for MySQL)) Paper,目前专注于下一代云数据库智.
2022-03-24 09:43:57
450
原创 基于华为云TICS实现联合风控模型训练
背景在银行传统的信用评估决策机制中,最常用的几个特征维度无非是个人资产、收入、信贷历史、抵押担保等。这些维度虽然能够反映借款人的还款能力,但是过于简单的规则往往也会拒绝掉很多潜在的优质客户。并且审核过程过于依赖网点客户经理,不但成本很高,人为风险也比较大。随着互联网的快速发展,我们在网络上留下越来越多的轨迹,比如购物、租房、招聘、学历、社交信息等等。将这些特征引入到信用评分体系当中,能对金融机构的业务决策起到很好的辅助作用。这些特征虽然不直接反应一个人的信贷属性,但是能够帮助金融机构更好地全方位了解这个
2022-03-24 08:58:04
455
原创 如何使用GES进行社交关系考据?---GES查询能力介绍
开发者李雷小朋友维护了一个自己的关系链图数据库,他怎么能从图数据库中查询出与他互相关注且年龄大于30的朋友呢?这里先介绍几种图原生查询语言写法:1.gremling.V("李雷").outE('friend').has('age',gt(30)).otherV().where(out('friend').(hasId('李雷'))).limit(100)2.cyphermatch (a)-[r1:friend]-
2022-03-23 14:20:38
1767
原创 技术创新+开放共赢 华为云GaussDB加速企业数字化转型
以下文章来源于ITPUB,作者陶然云、AI、5G等技术驱动,数据库行业迎来新的需求,云数据库也在不断演进升级。依托华为云与华为云Stack,通过全栈软硬件优化,华为云GaussDB进行了进阶与革新,以统一的架构,支持关系型与非关系型的数据库引擎。近日,在第十二届中国数据库技术大会上,笔者有幸采访到了华为云数据库CTO庄乾锋,庄老师向我们详细解读了GaussDB如何从产品架构革新,做到支持全场景全业务,并从解决方案与案例的维度分享了华为云数据库的优秀实践。###华为云GaussDB打造全场景数据库云.
2022-03-23 13:37:57
121
原创 基于MRS-Hudi构建数据湖的典型应用场景介绍
一、传统数据湖存在的问题与挑战传统数据湖解决方案中,常用Hive来构建T+1级别的数据仓库,通过HDFS存储实现海量数据的存储与水平扩容,通过Hive实现元数据的管理以及数据操作的SQL化。虽然能够在海量批处理场景中取得不错的效果,但依然存在如下现状问题:问题一:不支持事务由于传统大数据方案不支持事务,有可能会读到未写完成的数据,造成数据统计错误。为了规避该问题,通常控制读写任务顺序调用,在保证写任务完成后才能启动读任务。但并不是所有读任务都能够被调度系统约束住,在读取时仍存在该问题。问题二:数据更
2022-03-23 10:14:13
452
原创 华为云MRS基于Hudi和HetuEngine构建实时数据湖最佳实践
数据湖与实时数据湖是什么?各个行业企业都在构建企业级数据湖,将企业内多种格式数据源汇聚的大数据平台,通过严格的数据权限和资源管控,将数据和算力开放给各种使用者。一份数据支持多种分析,是数据湖最大的特点。如果数据湖的数据,从数据源产生后,可以在1分钟以内实时进入到数据湖存储,支持各种交互式分析,这种数据湖通常叫做实时数据湖,如果可以做到15分钟之内,也可称为准实时数据湖。构建实时数据湖,正在成为5G和IOT时代,支撑各个企业实时分析业务的数据湖新目标。华为MRS实时数据湖方案介绍生产库数据通过CDC
2022-03-23 09:33:27
1238
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅