天云数据-CSDN博客

原创天云数据：Hubble数据库系统自主研发率99.62%，是真正的信创数据库

后创立天云数据公司后，面对银行A类核心系统ACID 的事务需求，以及银监会要求的两地三中心容灾要求，团队开始面向交易体系进行分布式计算的原创路径探索，Hubble数据库重写了HBase存储引擎，采用Go语言研发，更适于服务化的云原生时代。相比与C语言、Java语言，Go语言在工程化能力以及性能上都是最适合天云数据的，可以实现逻辑层、调度层、计算层、存储层的更小颗粒度的解析。云目前是朝着云原生架构的方向演进的，云原生架构中有具有统治力的云原生项目都是用 Go 来构建的。C 语言的理念是信任程序员，

2023-01-31 10:26:22 862 1

原创天云数据入选中国信通院《全球数据库产业图谱（2022）》

原来的流程驱动的业务Java代码可复用，形成IT时代的信息化系统，而数据驱动的业务是输入、输出一体化，将数据、程序和商业结果一起输入，通过智能化系统来生产出程序，形成DT时代的智能化服务应用。要知道，数据供给和数据消费是相辅相成的关系：离开了数据供给，数据消费就是无源之水；截至目前，天云数据已经为包括了中国证监会、中国人民银行、招商银行、光大银行、广发银行、中信证券、申万证券、中国人寿、泰康人寿、国家电网、中石油、中石化、中海油、国家统计局、公安部、中国海关、中国移动、中国电信等。

2023-01-31 10:25:13 456

原创再获殊荣！天云数据入选第一批北京市级企业技术中心，Hubble数据库提供新一代信息技术科技服务

在某大型股份制银行，为了支持手机银行端的个性化数仓，传统 MPP 结构根本没法满足刚才说的这种服务价值，要实现手机端对大屏小屏化的趋势，还要配套数百个节点，所以现在市场上的湖仓一体本质上还是一个集成方案，需要在传统MPP数据库和开源hadoop之间做大量的数据同步和一致性校验。项目时，该银行核心系统只能够查询13个月以内的数据，对于一年以前的数据，无法实施在线获取，只能通过备份库导出的方式，耗时耗力。，通过多年的摸索，从最开始的计算层、调度层、存储层最后到解析层，自下而上，在没有行业经验可借鉴的情况下，

2023-01-31 10:22:11 432

原创天云数据Hubble数据库被评为“IDC创新者：中国分布式数据库，2022”

近日，国际知名研究机构 IDC 发布《IDC Innovator：中国分布式关系型数据库》报告正式发布，天云融创数据科技（北京）有限公司（以下简称“天云数据”）被评为“IDC创新者：中国分布式数据库，2022”。

2023-01-30 15:12:31 494

原创天云数据Hubble数据库荣获2022年度IT168技术卓越奖

在2022年即将结束之际，IT168再次启动“技术卓越奖”评选。由行业CIO/CTO大咖、技术专家及IT媒体三方联合评选，评判标准代表了用户和媒体声音。经过多方评审，天云数据Hubble数据库荣获2022年度IT168技术卓越奖。

2023-01-30 15:07:05 258

原创屡破纪录｜Hubble数据库又获2022全球数字经济大会背书数据库赛道同类选优入选 “数字经济产业创新成果”

由北京市人民政府、国家发展和改革委员会、工业和信息化部、商务部、国家互联网信息办公室、中国科学技术协会共同主办的2022全球数字经济大会在北京市召开。大会颁布了数字经济“创新引领成果”共15项和“产业创新成果”共45项。按照“赛道分类、同类选优、一企一项”的原则，天云数据Hubble数据库被授予“数字经济产业创新成果”，国产HTAP数据库能力获得大会权威认可。...

2022-08-17 11:42:34 202

原创 Hubble数据库再获得国家级重点项目推荐，作为HTAP国产数据库入选工信部全国试点

工业和信息化部办公厅关于组织开展2022年大数据产业发展试点示范项目申报工作。围绕数据要素市场培育、大数据重点产品和服务、行业大数据应用3大领域8个方向，遴选一批大数据产业试点示范项目，通过树立一批各行业、各领域的排头兵，推进大数据产业高质量发展。经过四个月的遴选，天云数据Hubble数据库作为国产HTAP数据库入选，获得国家级重点项目推荐。...

2022-08-17 11:29:44 294

原创 Hubble数据库x某大型互联网数科公司供应链金融项目构建数百亿图数据库

供应链金融在我国实施已有一段时间，各金融机构也推出了相应的供应链产品和服务，但在业务开展过程中存在着各种各样的风险点。试想一下场景：授信企业将所获贷款挪为他用投资高风险渠道且投资失败，所贷款项全部亏损，不仅影响了企业的再生产和经营过程，而且影响到整个产业供应链的正常运作。不是传统分析不能解决，而是在实际业务办理过程中，供应链金融关系错综复杂，不是简单分析能呈现的。随着整个社会生活以及经济发展模式都到了全面转型的时期，为了从数据中获取更多价值，已经开始需要使用图数据库获取深层次的统计信息。比起传统的信息存

2021-09-30 10:44:28 263

原创 Hubble数据库x某股份制商业银行信用卡反欺诈项目构建2.4亿条社交网络库

据央行发布的《支付体系运行总体情况》显示，截至2017年二季度末，全国信用卡和借贷合一卡在用发卡数量共计5.2亿张，应偿信贷余额为4.69万亿元。价值市场愈大风险愈高。数字化让金融更具有技术性、规模性隐蔽性等特点，这使得风险愈加复杂多样，诸如信用卡套现、伪卡欺诈、支付资金诈骗案件频发，而且手段逐渐向高科技、专业化，这对信用卡持卡人带来了巨大的资金安全威胁，也对信用卡所属公司造成了业务威胁。如何保障客户隐私，同时又可以保证资金。在整个营销获客这个闭环流程中，反欺诈是保障效果的重要前提。有效防范欺诈行为，才

2021-09-30 10:43:19 234

原创天云数据中标某股份制证券公司项目提供国产企业级人工智能平台服务

今年4月，某证券有限公司决定就“企业级”人工智能平台产品及技术服务进行招标采购，天云数据中标。标书发出日期为4月1日，投标截止时间为4月21日15:00。不足21天的准备，什么样的公司能构建出一个符合大型股份制证券公司所期待的“企业级”人工智能平台？什么是“企业级” 人工智能平台？“企业级”人工智能平台不难定位：构建一个以算力平台和算法平台及分布式数据库为底座的企业通用AI能力基础设施，以统一、标准的服务模式实现AI能力的全方位输出。但定义是无情感的，使用却是有体感的。天云数据CEO雷涛先生解释说：“

2021-09-30 10:29:53 183

原创 Hubble数据库x某证券监管数据分析图谱建设关系总量1.17亿+

近年来，中国已经成为全球最活跃的金融科技市场，而金融科技的快速发展客观上也促进了监管科技的发展。目前监管数据信息规模庞大、数据复杂，如何通过图数据库技术、AI等新技术赋能显得尤为重要。图谱技术具有较强的关联关系分析能力，通过社会要素的关联分析与模型推算，在宏观检测、风险预警等方面为监管部门决策提供数据支撑。某证券公司迫切需要构建不同业务层面的勾稽关系网络，辅助证监会业务监管：某证券现阶段需要解决的问题是能够构建资管产品不同业务层面的勾稽关系网络，并且可以展示产品的整体投资情况及风险揭示。进而辅助证监会实现

2021-09-30 10:28:45 151

原创 Hubble数据库x某股份制商业银行：一款混布数据库的“交易+分析”提速之路

数据库是基础软件皇冠上的明珠，是每一家公司业务系统的核心。互联网的发展催生数据库技术变化日新月异。近年来，混布数据库在银行承载了很大使命：一方面，满足海量数据强交易场景；另一方面，权益类服务也和其他服务一样，需要计时实时处理。日前，某股份制商业银行发布“大数据平台HTAP集群优化项目”，天云数据国产自研的混布Hubble数据库中标。01 国产自研的混布数据库为该股份制商业银行银行提供什么服务？细数下来，今年是天云数据为该股份制商业银行提供服务的第三个年头。在这三年里，天云数据Hubble数据库

2021-09-30 10:20:46 313

原创 HTAP数据库率先与国产申威芯片厂商完成适配 Hubble数据库扩建信创生态体系

“信创”即信息技术应用创新，它与“863计划”“973计划”“核高基”一脉相承，是我国IT产业发展升级采取的长久之计。近年来，我国数据库产业发展迅速，实现从无到有，从可用到好用的发展，与国际水平差距逐渐缩小。国产HTAP数据库已具备“信创”推广能力：天云数据从创业之初就全力投入技术研发，十余年一直坚持“硬核技术”路线，所研发的HTAP数据库（Hubble数据库）已经具备去中心化、数据一致性、可串行化、分布式SQL、独占空间和非独占空间、混合存储、存储和查询统一实例、混合逻辑时钟等数十项硬核技术。近期率先与

2021-09-29 15:57:31 243

原创天云数据历史数据查询解决方案，全量·全渠道·多维度·7*24h随时随地想查就查

随着互联网时代的到来，人们足不出户用手机就可以办理各种银行业务。事物总有两面性，便捷的网上交易使得银行系统中积累的数据量越来越大。因此，为了保证核心数据存储系统正常工作，常规银行无法实时查询五年以上的历史数据。普通业务办理，可以预约等待。但如果遇到公安办案、监管部门查交易明细等紧急情况时，无法满足实时查询的需求会影响办案的时效性。随着时间的流逝，历史数据查询难度日益增加。源起：银行数据存贮、服务现状目前银行核心系统一般只保存近13个月左右的数据，所有历史数据几乎离线保存在如磁带库、光盘库中，以减

2021-09-03 10:25:38 553

原创天云数据：推动企业向数字原生迈进赋能产业数字化转型

IDC预测，到2023年几乎每个企业都将成为日益数字化的全球经济中的“数字原生”。75%的IT支出将用于第三平台技术——因为超过90%的企业构建了“数字原生”IT环境，以便在数字经济中茁壮成长。第二届世界智能大会也表达了一个观点，未来所有企业要么是数字化原生企业，要么成为数字化重生/转型企业。数字孪生 VS 数字原生利用已有知识 or 创建新知识**在讲什么是数字原生之前我们先谈谈什么是数字孪生。**数字孪生，近几年在互联网领域频繁出现，更是跟智慧城市深度绑定，以大数据为基础打通逻辑世界和物理世界。

2021-05-08 17:15:02 420

原创天云数据：去伪求真国产数据库必须摒弃拿来主义

2020年是“不平凡”的一年，更是值得深思的一年。疫情之上还有波云诡谲的国际政局让人对这个充满着不确定性的世界忧心忡忡。在这样一个不确定的时代，唯有强大自己才是心之所安的源泉。于国家如此，于数据库产品也是如此。国产数据库需要从拿来主义之中觉醒国产数据库起步晚，在信息、人才、技术等多重窘境之下，很多企业采用“拿来主义”的手段弥补国产技术的空白。要么基于开源系统改进，要么从厂商购买源码授权，起点虽然高但产品架构几乎不可能调整，想掌握核心技术更是难上加难。以国内最受欢迎的MySQL为例：从授权协议看，M

2021-05-08 10:41:24 324 1

原创 HTAP数据库：Hubble，企业实时营销的法宝

真营销只有两种情况：一种是把你的产品卖给你的用户，另外一种是把你的品牌卖给你的用户。第一种当下就产生业务，第二种之后会产生业务。营销的魅力不仅在于精准，更在于实时。这就像追求恋人一样，投其所好很重要，在正确的时间做正确的事更重要。传统数据营销是通过分散数据源，提供数据采集、加工、处理、存储、应用等功能，采用统计汇总等方式实现KPI、报表、仪表盘等功能满足业领导宏观决策需要。对于新的业务场景，IOE设备面临太多挑战，如数据规模的扩大，从GB到TB再到PB，数据类型从结构化到非结构化，数据亲密关系计算、数据

2021-03-30 16:03:42 301

原创 HTAP数据库：Hubble一人千面的精细化用户运营

用户在网上购物时，搜索引擎都会给用户打标签，比如购买什么价位的消费品，喜欢什么版型的衣服，以及注册账号的偏好信息等。这一系列的沉淀形成的用户固定的长期标签，这些标签是精细化用户运营的基础。传统数据库就是基于这些标签去做精细化用户运营。**但标签体系建设的重点不仅在于标签的创建更在于标签的持续优化。**用户标签会随着业务场景、用户角色等变量因素改变，所以标签信息的持续优化是重中之重，标签的新增与修改等都与业务产生有着密不可分的影响。比如用户下单第一笔尿不湿，那她很有可能已经荣升宝妈了，这个标签若不及时更新，

2021-03-26 18:00:58 252 1

原创 HTAP数据库：Hubble释放物联网数据潜能

有一双未卜先知的眼睛，城市里错综复杂的十字路口和成千上万的路段里路况都在它的视野里，并且它能提前告诉你5分钟后、10分钟后，乃至1个小时后的路况信息；有这样一个全能机器管家，它能很好的感知设备性能的衰退、精度的缺失、易耗件的磨损和资源的浪费等，立体的给你呈现设备的所有信息；有这样一个安全大咖，它可以360度感知全球气候异常情况，实时监测环境的不安全性，提前预防、实时预警。这都是物联网的实际应用。这些用例有两个共同点：海量数据、实时分析计算。海量到什么程度？一天的数据量就能超过1000亿条！互联网时代

2021-03-23 14:16:15 237 1

原创 HTAP数据库：Hubble加倍实现数据湖价值

98%的企业都面临数据孤岛问题，数据没标准、数据难统一、数据难打通、数据质量低。打通数据孤岛难度大周期长成本高，企业每年在糟糕的数据上多花费近25%的成本。有痛点就有市场，数据湖应市而生。为什么是数据湖而不是数据河或者数据海？河强调的是流动性，而企业数据是需要长期沉淀的，因此叫湖比叫河要贴切。既是长期沉淀下来的数据，一定是海量数据，而且是多种类型的数据包括结构化、半结构化和非结构化。因此，数据湖产品必须能从多个数据源获取原始数据，并且针对不同的业务，同一份原始数据还可能有多种满足特定内部模型格式的数据

2021-03-17 17:45:48 246

原创「分布式技术专题」事务型、分析型数据资源隔离机制

资源隔离在分布式系统里通常将进程进行资源隔离，然后在同一个进程里的各种业务都共享线程池对外提供服务，这就经常会遇到这样的问题：分析型的负载较高，抢占了线程池里的大部分线程资源，从而会造成事务业务的服务质量下降；或者某个业务负责较高，使其他的业务质量下降。同一个进程内新加入一个业务，这个业务会抢占其他业务的资源，从而造成系统的不稳定，比如业务性能抖动；难以调试，比如同一个进程里的10个业务共享同一个线程池，当出现故障时难以通过简单的日志判断是哪个业务出了问题。因此，希望通过一种机制处理上面的问题，资源隔离的

2021-03-05 17:27:45 409

原创「分布式技术专题」副本机制

副本放置算法1、raft协议原理raft2、单个shard的复制raft-single3、Raft group组raft-group在一定情况下，copyset的数量不是越多越好，在恢复时间确定的情况下，找到合适的copyset的数量可以降低数据丢失的概率。为了提高存储系统数据可靠性，首先在系统允许的成本范围内选择合适的副本数，再次在系统设计中我们首先优先考虑加快数据恢复时间，在此基础上减小系统的copyset数量。使得在既定的成本下达到尽可能高的可靠性。参考论文《Copysets:Re

2021-03-05 17:23:28 1102

原创「分布式技术专题」外部接口

外部接口(提供给第三方使用的接口)。提供外部JAVA服务来进行调用，如:JDBC、ODBC.原理外部接口目前采用JDBC和ODBC，提供外部系统对数据库的操作访问， JDBC（Java Data Base Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准，据此可以构建更高级的工具和接口，使数据库开发人员能够编写数据库应用程序。简言之，JDBC就是Java用于执行

2021-03-05 17:21:11 351 1

原创「分布式技术专题」内部语言层接口

在分布式数据库中，内部接口（供系统内部调用的接口），通过内部语言层接口来进行数据库体系内部各层之间的通信协议进行交互。原理为提高整个系统的智能性，实现主节点对各数据节点的监控、调配和统计，将所处理的数据以数据库的式传送给主机，并严格以相应的格式来读写文件。数据库文件由文件结构和数据两部分组成，文件结构采用的是二进制存储方式而数据部分则是以ASII方式存储。库文件结构部分描述文件的概况：建立或修改日期，数据记录个数、库文件的结构长度、记录长度等。数据库底层存储采用C语言进行结构存储。C语言具有很好的底层控

2021-03-04 16:54:06 131 1

原创「分布式技术专题」故障恢复

由数据库管理系统提供一套方法，可及时发现故障和修复故障，从而防止数据被破坏。数据库系统能尽快恢复数据库系统运行时出现的故障，可能是物理上或是逻辑上的错误。比如对系统的误操作造成的数据错误等。原理随着计算机网络技术的日臻成熟，分布式数据库以其较高的访问局部性能逐渐成为关系企业的主流数据库系统。其中恢复子系统是分布式数据库系统的关键性组成部分，其在数据库的故障恢复中发挥着至关重要的作用。在分布式数据库特点分析的基础上，对数据库故障恢复技术进行了剖析，基于两阶段及三阶段协议的数据库恢复方法，从而提高了数据库系

2021-03-04 16:50:06 501 1

原创「分布式技术专题」缓存

缓存凡是位于速度相差较大的两种硬件之间，用于协调两者数据传输差异的结构，都称为cache。缓存可分为本地缓存和分布式缓存，在现在的系统架构中，缓存的地位可以说是非常高的。因为在互联网的时代，请求的并发量可能会非常高，在分布式数据库中，对高并发的要求越来越高，实现高并发的策略，需要借助一些缓存的实现机制，而缓存由于是在内存中处理，并不需要磁盘的IO，所以非常适合于高并发的处理，也就成为了各个系统中必不可少的一部分了。不过，由此产生的问题也是非常多的，其中一个就是如何保证数据库和缓存之间的数据一致性。由于数据

2021-03-03 16:59:29 193 3

原创「分布式技术专题」数据切分与合并

为何进行数据切分海量数据的存储和访问成为系统设计的瓶颈问题。每天海量数据的增长无疑对数据库造成了相当高的负载。给系统的稳定性和扩展性造成了极大的问题。通过数据的拆来提高系统整体性能，扩充系统整体容量，横向扩展数据层已经成为分布式数据库架构师及开发人员首选的方式。因此，需要能数据库的数据进分切分存储。为何进行数据合并存储文件会被后台的管理进程仔细地监控起来以确保它们处于控制之下。随着memstore的刷写会生成很多磁盘文件。会生成很小文件，如果文件的数目达到阈值，合并（compaction）过程将把它们

2021-03-03 16:57:57 589 2

原创「分布式技术专题」分区

数据分区是一种物理数据库的设计技术，它的目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间。分区并不是生成新的数据表，而是将表的数据均衡分摊到不同的硬盘，系统或是不同服务器存储介子中，实际上还是一张表。另外，分区可以做到将表的数据均衡到不同的地方，提高数据检索的效率，降低数据库的频繁IO压力值。原理分区是将大量数据和访问请求均匀分布在多个节点上。如果每个节点均匀承担数据和请求，那么理论上10个节点就应该能承担10倍于单节点的数据量和访问量。这个理论是忽略了复制产生的Follower副本的

2021-03-02 17:18:11 191

原创「分布式技术专题」数据分布（数据复制、数据分片及优劣势）

数据复制对于那些需要在多个场地上对数据进行更新的应用来说，自动快照的功能就显得很不够了。这些应用要求同一个表的多份拷贝在多个场上进行维护。把数据复制到远程节点，使数据更容易被系统中的较远的用户访问，从而境加了系统的本地自治度。分布式数据库必须解决一个重要问题是，保持所有拷贝的同步更新。当同一表的多个拷贝存在时，访问这些分布数据的用户应该不会察觉这些副本的位置。否则，用户必须依靠系统当前的位置和当前维护的副本的编号进行修改。复制、数据一致性和位位置透明性都是分布式数据库复制数据时要完成的功能。这些功能在

2021-03-02 17:16:13 751

原创分布式技术专题」数据分布（数据重复、数据分配及实现方式）

数据重复数据重复也可称为副本，能提高数据的可用性，最极端的情况是每个场直均重复配置置整个数据库，建成完全重复的分布式数据库。这时可用性最高，只要有一个场地能工作，整个系统均能工作，同时提交了合局查询的性能。合局查询可能在任何一个场地上提出，当该场地上包含了服务器软件，刚全局查询可在局部场地上完成。但缺点是更新操作的效果极差，一次更新，为了瓮中捉鳖其各副本的一到处性必须更新每个场地上的副本，使并发控制和必得机制理更加得杂。完全重复的别一个极端是不重复，即每个分片段只存储在现代战争场地上。这时所有的片

2021-03-01 17:26:49 712

原创「分布式技术专题」数据分布（原理、数据分片）

数据分布是分布式数据库的主要特征。实现数据访问的局部化是分布式数据库设计的重要内容。介绍了分布式数据库系统的主要特征及关键技术,重点对关系的分割和分布式数据的访问进行了描述。如：分布式数据库中的数据分布在不同的节点上，有的事务分解成不同节点上的多个局部事务，若某个局部事务不能正常提交，则必须撤销所有其他节点已提交的局部事务。事务的这种性质，官能称为事的原子性。原理数据分布的策略，分布式数据库的每个全局关系可以分为若干个不相关的部分，每一个部分秒为一个片段。片段可以存储在各个场地，这就是分布；片段还允许重

2021-03-01 17:25:30 692

原创分布式技术专题」非独立存储的优势与劣势

分布式数数据库非独立存储采用非独点空间的策略机制。非独站空间是数据空间的一种，可以通过数据空间中的一个属性来描述，会与其他非独占空间的数据空间共用磁盘目录，通过逻辑来隔离，非独占空间会包含多个shard，多个shard可能属于多个数据空间，属于多张表。非独占空间也可称为共享表空间：每一个数据库的所有的表数据，索引文件全部放在一个或多个文件中，默认这个共享表空间的文件路径。原理分布式数据库与他关系型数据库一样，有具体的存储结构、数据和元数据的，作为分布式数据库系统，首先要决定数据的存储模型，即数据是以

2021-02-26 16:39:56 111

原创「分布式技术专题」独立存储的优势与劣势

数据库的独立性包括逻辑独立性（数据库中数据库的逻辑结构和应用程序相互独立）和物理独立性（数据物理结构的变化不影响数据的逻辑结构）。分布式数数据库独立存储采用独点空间的策略机制。独站空间是数据空间的一种，可以通过数据空间中的一个属性来描述，通常这个空间会在磁盘上有独占的存储目录，与其他空间是物理隔离的，独占空间包含多个shard，所有的shard属于同一个数据空间，属于同一张表。用于满足特定的业务应用场景。原理分布式数据库与其他关系型数据库一样，有具体的存储结构、数据和元数据的，作为分布式数据库系统，

2021-02-26 16:38:52 183

原创「分布式技术专题」基于Gossip协议的去中心服务

概述Gossip 协议可以翻译为流言协议。它是在 1987 年发表在 ACM 上的论文《Epidemic Algorithms for Replicated Database Maintenance》中被提出的。论文中给 Gossip 协议的定义是一个以流行病传播的方式为基础的计算机点对点通信程序或过程（a procedure or process of computer peer-to-peer communication that is based on the way epidemics spre

2021-02-25 16:13:22 230

原创「分布式技术专题」去中心化服务与中心化服务的优劣

在云计算、大数据等新技术的带动下，越来越多的企业需要对结构化的数据进行查询、分析、处理和更新。同时，随着创新业务的不断增加，业务的复杂及庞大的体量必然会产生错综复杂且规模巨大的结构化数据，这些都必然迫使企业对数据库的需求指向大规模、高可靠、高扩展及高性能。什么是数据去中心化？数据去中心化过程也就是数据拆分的过程。依据服务划分数据，将数据从主体数据剥离出来。为什么需要数据去中心化？规范化数据模型是传统关系型数据库设计的核心，即通过三大范式实现数据的有效存储，并为开发人员提供一整套对数据的操作方式。规范

2021-02-25 16:11:40 347

原创「分布式技术专题」事务基础及特性

事务中的基本概念在数据库中，会将有意义的数据操作进行集中处理，利用数据库进行数据的检索、插入、更新、删除操作，这里用户的一个连贯的操作，就是事务(transaction)。为了解决多个用户同时访问数据库时不会发生问题，就需要控制这些操作，也就是通常意义上的并发控制中的上锁（LOCK）操作（乐观并发不上锁的情况不在本文讨论范围内）。上锁的意义在于防止对重要数据的误操作。比如两笔对同一账户的转账，如果并发操作，可能第二次转账未读取到第一次转账后的结果时，会造成账户的金额错误。这种情况下，第二次操作

2021-02-23 16:19:40 134

原创「分布式技术专题」并发系列三：乐观并发控制之原型系统（分布式验证）

原型系统——分布式验证Centiman: Elastic, High Performance Optimistic Concurrency Control by Watermarking 2015concurrent8Centiman是一个在云环境基于NoSQL存储层+事务处理层（OCC）实现的具备串行化事务隔离级别的KV系统，由KV存储、事务处理子系统（包括处理结点和验证结点）、全局总控结点及客户端组成。一个事务的完整生命周期分为如下阶段：读取阶段处理结点维护一个本地的已应用事务提交时间戳（

2021-02-23 16:18:20 269 2

原创「分布式技术专题」并发系列三：乐观并发控制之原型系统（动态调整提交时间戳减少事务中止率）

原型系统——动态调整提交时间戳减少事务中止率MaaT: Effective and scalable coordination of distributedtransactions in the cloud VLDB 2014这篇论文可以称为是为OCC摇旗呐喊的战斗檄文。论文首先提出了事务级云存储系统的概念，有代表性的系统如工业界的Spanner、学术界的Calvin、开源界的MySQL Cluster。与传统事务级云数据库的区别在于更加透明的数据分区，包括自动化的分区拆分、合并、迁移、负载均衡，这

2021-02-22 14:59:58 160

原创「分布式技术专题」并发系列三：乐观并发控制之生产系统

以时间轴的方式对不同时期的有代表性的论文（从理论研究、原型系统、生产系统三个维度分类）进行了梳理，带你简要回顾一下OCC在学术界及工业界的发展历程。生产系统——在验证阶段使用Paxos提交协议发现冲突Megastore: Providing Scalable, Highly Available Storage for Interactive Services CIDR 2011concurrent6Megastore是少有的在内核层实现OCC的生产级分布式数据库系统，在Entity Group的

2021-02-22 14:58:40 109

原创「分布式技术专题」并发系列三：乐观并发控制之原型系统

以时间轴的方式对不同时期的有代表性的论文（从理论研究、原型系统、生产系统三个维度分类）进行了梳理，带你简要回顾一下OCC在学术界及工业界的发展历程。原型系统——MVCC+OCC+2PCDistributed transaction management in jasmin VLDB 1984这篇论文给出了OCC在分布式系统实现层面的解决方案，系统采用多版本存储，数据对象的粒度为一个页面，事务流程简要描述如下：• 读取阶段选取全局读时间戳，保证读取阶段能够看到一致的数据库视图。对于只读事务，在读取

2021-02-20 13:48:03 121

空空如也

空空如也