lijinglisa-CSDN博客

原创使用并行装载助力Kingbase FlySync提升数据入库性能

Kingbase FlySync是什么Kingbase FlySync 是人大金仓面向异地容灾、数据集中共享与分发、数据分析平台建设、云迁移等场景，推出的在异构数据平台间实现实时、增量数据同步的产品，主要采用物理日志解析技术，帮助用户实现数据在不同数据平台间可任意方向实时移动流转的问题，并保证此过程中数据不丢失、状态可监控、流转数据量可统计，具有如下优点：1、异构数据同步统一开放、模块化的架构支持多种异构源（Oracle、SQL Sever、MySQL）和同步目标（Orac.

2020-12-11 17:22:26 214 1

原创干货 | 如何确保数据不丢失（二）——金仓KingbaseES高可用集群管理

编者按：可用性是数据库的重要指标之一，高可用集群是保障数据不丢失、服务可用的主要措施之一。上篇从部署维度阐晰金仓数据库KingbaseES如何打造高可用集群（详情戳>>>），本篇将从管理角度进行讲解。一、术语dry-run：表示执行真实命令前，先做一遍检查，当有错误就会终止操作，无检查到错误时，则真正执行命令。二、集群管理当成功搭建KingbaseES数据库集群部署后，就可以使用集群部署工具进行集群管理。尤其在部署了多个项目及集群...

2020-09-09 17:26:15 481

原创干货 | 数据不丢失？有它就够了——金仓KingbaseES高可用集群部署

编者按：可用性是数据库的重要指标之一，高可用集群是保障数据不丢失、服务可用的主要措施之一。下面将从部署维度阐晰金仓数据库KingbaseES如何打造高可用集群。一、高可用架构基础实践中，通常让多个数据库服务器协同工作来实现数据库的高可用。例如，当一个服务器节点失效时，另一个服务器去替代工作，以此来达到不中断服务或只中断很短的时间；或者是多个数据库同时提供服务（多活），用户可以访问任意一台数据库，当有数据库故障时，访问其他数据库即可。但与无状态的应用服务HA不一样的是，数据库记录了...

2020-08-21 11:05:40 572 1

原创干货 | 基于kingbaseES的SQL性能调优（附案例）

随着互联网技术在商业应用中的广泛普及，数据库应用日益庞大复杂，随之数据库性能表现的重要性也越发凸显。在数据库的众多性能问题中，SQL性能问题占有极大的比例，因此，SQL性能调优也就成为了数据库管理员进阶需要掌握的一项重要技能。凭借着金仓的多年来的海量应用数据，我们总结出了一些SQL性能调优经验供读者使用。一、常见问题分析SQL性能问题一般表现在过长的响应时间，当时间长到应用无法忍受时，就会成为一个我们需要解决的性能问题。结合众多现场的情况，可以得出以下常见问题原因：1、缺少SQ...

2020-07-28 15:42:25 588

原创干货 | 使用TLA+和PlusCal增强产品的可靠性

数治时代，计算机替代人脑成为数据分析、流程处理、场景模拟的信息处理中心，这对数据库及相关软件的可靠性提出了较高要求。尤其在航天、金融等行业，更是对软件可靠性有更为严格的标准。一、软件可靠性的重要性高并发系统和分布式系统面临的软件可靠性挑战在软件工程中有很多原则、方法和经验都可以辅助解决，但在很多场景下产品需要实现具备很高复杂度的软件模块。例如：并发的共享资源访问，尤其是lock free的并发访问，多个进程/线程会在程序的任意状态下进入访问共享资源。分布式系统在各个计算任务...

2020-07-17 16:38:56 623

原创多模存储，轻松实现数据库“一库多用”

随着互联网的发展，越来越多的APP在丰富着人们的生活。为了满足这些海量数据的存储、利用、计算与分析，传统的做法是平台提供十几个不同的数据库产品分别满足相应的需求。但随着数据量的不断增多、数据类型的不断丰富以及应用系统的逐渐增加后，整体维护性和数据一致性管理成本大大增加，进而影响到整个系统的使用，因此多样性的数据存储管理成为了数据库平台面临的一大挑战。一、数据多模发展需求数据库系统的演进经历了从最早的关系型数据库OLTP到半结构化，再到分析型数据库OLAP等非结构化的数据库，现在又催生...

2020-07-09 17:28:19 1064

原创技术干货 | 突破业务瓶颈，摆脱单点故障，基于 Kingbase FlySync构建异地多活数据库集群

随着互联网普及，5G、云计算、大数据等新型技术不断发展，普通用户能够接触到的资讯、服务越来越广泛，使得原本只需要服务特定区域的信息系统需要服务的客户群体越来越大，需要处理的数据量也越来越多。与此同时，数字化时代也使得数据变成了企业核心资产，数据成为新的生产要素。一、异地多活是摆在企业面前的迫切问题对于数据资产安全、持续访问、灾备等方面的刚性需求，也使得中小企业将目光从传统单节点应用模型上移开，寻找分布式的可替代方案。本文主要讨论两个问题：1、如何保证数据量不断增大的情况下，...

2020-06-04 16:20:17 514

原创技术干货 | 金仓数据库使用“小妙招”——常用三大连接池中间件帮你提高效率

数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是重新建立一个。这样的好处是节省了应用频繁建立关闭数据库连接的开销，同时也统一了数据库连接的资源，便于管理。当然还有很多其它高级功能比如动态资源控制，连接检测等。连接池运用得好，将大大提高应用的开发和运行效率。目前金仓数据库常用的数据库连接池有DBCP、C3P0和Druid三种，下面将对这三种连接池与Spring和SpringBoot整合使用的配置进行简单说明。一、金仓配置DBCP说明DBCP..

2020-05-29 17:05:47 845

原创技术干货 | 独家揭秘数据库跨平台迁移原来这么轻松！

Oracle跨平台迁移——面临严峻挑战高复杂性高成本数万行pl/sql代码，大量的存储过程、触发器、函数、包、计划任务、视图，各种基于Oracle独有特性的语法表达，以及应用开发商们基于Oracle投入大量的人力及物力。如果要跨平台迁移，关键问题在于如何低成本且高质量的完成上述应用逻辑的平滑迁移，仅靠手工方式进行迁移，带来的机会成本（高水平的工程师）和时间成本只会更高。兼容性和稳定性相...

2019-12-06 11:34:53 391

原创技术干货 | 强势推进 Kingbase FlySync助您在国产化道路稳步前行！

近年来，国内各类网络安全事件频发，从棱镜计划到中兴事件、华为事件等，这一系列事件使国家网络信息化安全一次次受到各种形式的挑战，而其根源在于核心技术和基础软硬件受制于人。防范于未然，补齐短板。在信息时代，信息网络安全作为国家安全的重要内容，其重要性得到了全世界各国的公认。在此形势下，各行业已经深刻认识到了该事件带来的深远影响，并开始探索实践信息化基础软硬件的国产化之路，而数据库作为基础软件理应首当...

2019-11-13 13:20:17 312

原创深度 | 流式计算轻松搞定智能交通，你需要了解下KVDB！

在世界范围内，堵车发生的情况越来越严重。据统计，全球每人每天平均至少因堵车浪费15分钟，北京居民因拥堵造成的损失为30元/半小时，而交通堵塞让美国司机每年损失千余美元。传统的解决方案已经无法满足，此时智能交通应运而生。实时监测城市交通状况预测未来的交通状况智能信号灯智能交通实时管理…想要轻松搞定智能交通你需要了解下KVDBKVDB是人大金仓基于视频图像智能应用场景打造的一款更轻量开...

2019-09-17 09:25:22 410

原创技术干货 | 金仓通用数据库中，如何使用Activiti快速开发工作流应用？

Activiti 是一个针对企业用户、开发人员、系统管理员的轻量级工作流业务管理平台，可以将业务系统中复杂的业务流程抽取出来，使用专门的建模语言进行定义，业务系统将按照预先定义的流程进行执行，实现业务流程自动化运行，从而提高企业的运行效率，减少系统的开发维护成本。Activiti以其开源的特性，成为近年来迅猛发展的工作流框架之一，得到大家的广泛使用，但因其自身的限制并不支持国产数据库。为此，...

2019-08-23 16:46:26 847 6

原创深度 | 数据库集群如何选型以应对需求与技术之间的冲撞？

随着我国经济和信息化技术的快速发展，企业用户量、数据信息量呈爆炸式增长，数据库面临着性能、可用性等诸多挑战，例如：数据库性能是否可横向弹性伸缩、是否能确保业务的连续性、是否具有高透明度…为应对这一挑战，业界普遍采用数据库集群技术，同时却给用户带来了诸多困惑：数据库集群相关的技术路线繁多冗杂，全面理解较困难；相关产品鱼龙混杂，当某个数据库技术概念很火热，立刻就冒出许多号称采用该技术的产品，而在...

2019-08-16 16:03:26 233

原创深度 | 全国产环境下应用系统如何支撑激增的业务需求？

序言：本文所涉及的全国产环境特指服务器/客户机采用国产CPU处理系统（龙芯（MIPS）、飞腾（ARM）、申威（ALPHA））、操作系统和基础软件等全国产产品。随着计算机科学与技术的快速发展，应用、数据和终端用户正在无限激增，企业需要实现端到端应用可视化、优化和控制，以缩小性能差距。而在全国产环境下，国产CPU的性能相较于Intel/AMD有一定的距离，这就需要我们从软件层面对业务应用系统的...

2019-08-09 14:18:05 226

原创技术干货| Kingbase ES索引知多少？答案看这里！

对于DBA而言，索引是数据库调优的常用手段，合理的使用索引可以加速SQL语句的执行速度，帮助数据库更加高效的利用系统资源。同时，当前数据库业务场景的复杂多变性对索引提出了更高的要求。为了支撑这些复杂多变的应用场景，Kingbase ES提供了6种类型的索引，每种类型的索引对应不同的算法实现，下文将一一介绍其功能及应用场景。Kingbase ES六种索引方式及适用场景01BTREEBT...

2019-07-26 09:49:35 1044

原创深度 | Kingbase Flysync——打破数据孤岛，助力数据价值最大化，我能！

当前，随着社会的不断进步，数据应用不断经历变迁，人们对数据的理解和运用较以往更为深刻，数据是资产已成为各方共识。如何研发、开发、最大化地利用这些数据资源是近些年各行各业高度关注的焦点。大家普遍认识到，数据只有流通起来，构建数据自己的网络，向需要的业务输送“养料”，才能为世界创造价值，实现数据价值最大化。数字化时代数据流通整合成为基础纵观整个信息化发展过程，数据不断经历着发展变迁，大致可分...

2019-07-19 13:40:16 603

原创技术干货 | 判断数据库性能只能通过count(*)？No，这些优化方案了解一下！

大多数用户在体验数据库时，接触到的最早的sql语句就是count()，因此用户判断数据库性能时通常也会通过count()进行比较。但在执行时通常会出现一个问题：对某个表做count(*)时需对全表数据进行扫描，当表中包含数据量较大的字段时，IO将会成为数据扫描的瓶颈。数据扫描瓶颈有哪些优化方式？针对上述问题，为解决全表扫描带来的IO开销的方案大致可分为三类：第一类是减少扫描数据；第二类是通过并...

2019-07-16 18:22:50 201

原创技术干货|Kingbase ES在函数中如何返回多个结果集？

很多数据库支持通过函数或存储过程返回多个结果集，比如：MSSQL：CREATE PROCEDURE testASSELECT * FROM first_tableSELECT * FROM second_tableMYSQL：CREATE PROCEDURE test_proc_multi_select()BEGINSELECT * FROM testproc;SELECT *...

2019-06-26 13:27:09 655

原创深度|数据库产品如何选型？掌握这一招就够了

近年来，伴随着互联网、大数据、云计算、人工智能等新兴产业的兴起和快速发展，大量新的应用场景不断涌现，这对数据库及更广泛的数据存储计算平台提出了诸多挑战，许多新的数据库产品及技术也随之产生。数据库领域涌现出NoSQL、NewSQL、结构化数据、半结构化数据、图数据库、MPP数据库、列存储等越来越多的专业新词。概念的日益复杂及越来越多样化的产品给用户的产品选型带来了不小困扰。用户该如何进行数据库产...

2019-06-26 11:41:28 1429

原创技术干货 | KADB进行图数据存储计算测试的效果介绍

在公共安全、反欺诈、知识图谱、机器学习等诸多领域中，越来越多地需要用到图数据的存储与计算，一些具体的应用场景往往还同时存在对关系数据和图数据的交叉处理需求。作为MPP数据库，KADB也具备图数据处理能力，在许多OLAP项目中支撑了如关联分析、最短路径计算等需求。因此，人大金仓专门进行了KADB的图数据存储计算功能测试，以验证KADB对图数据的存储和常规计算功能的支持能力，并将该能力与主流的gr...

2019-06-17 15:14:52 499

lijinglisa的博客