qq_39918081的博客

后创立天云数据公司后，面对银行A类核心系统ACID 的事务需求，以及银监会要求的两地三中心容灾要求，团队开始面向交易体系进行分布式计算的原创路径探索，Hubble数据库重写了HBase存储引擎，采用Go语言研发，更适于服务化的云原生时代。相比与C语言、Java语言，Go语言在工程化能力以及性能上都是最适合天云数据的，可以实现逻辑层、调度层、计算层、存储层的更小颗粒度的解析。云目前是朝着云原生架构的方向演进的，云原生架构中有具有统治力的云原生项目都是用 Go 来构建的。C 语言的理念是信任程序员，

原来的流程驱动的业务Java代码可复用，形成IT时代的信息化系统，而数据驱动的业务是输入、输出一体化，将数据、程序和商业结果一起输入，通过智能化系统来生产出程序，形成DT时代的智能化服务应用。要知道，数据供给和数据消费是相辅相成的关系：离开了数据供给，数据消费就是无源之水；截至目前，天云数据已经为包括了中国证监会、中国人民银行、招商银行、光大银行、广发银行、中信证券、申万证券、中国人寿、泰康人寿、国家电网、中石油、中石化、中海油、国家统计局、公安部、中国海关、中国移动、中国电信等。

在某大型股份制银行，为了支持手机银行端的个性化数仓，传统 MPP 结构根本没法满足刚才说的这种服务价值，要实现手机端对大屏小屏化的趋势，还要配套数百个节点，所以现在市场上的湖仓一体本质上还是一个集成方案，需要在传统MPP数据库和开源hadoop之间做大量的数据同步和一致性校验。项目时，该银行核心系统只能够查询13个月以内的数据，对于一年以前的数据，无法实施在线获取，只能通过备份库导出的方式，耗时耗力。，通过多年的摸索，从最开始的计算层、调度层、存储层最后到解析层，自下而上，在没有行业经验可借鉴的情况下，

近日，国际知名研究机构 IDC 发布《IDC Innovator：中国分布式关系型数据库》报告正式发布，天云融创数据科技（北京）有限公司（以下简称“天云数据”）被评为“IDC创新者：中国分布式数据库，2022”。

在2022年即将结束之际，IT168再次启动“技术卓越奖”评选。由行业CIO/CTO大咖、技术专家及IT媒体三方联合评选，评判标准代表了用户和媒体声音。经过多方评审，天云数据Hubble数据库荣获2022年度IT168技术卓越奖。

“信创”即信息技术应用创新，它与“863计划”“973计划”“核高基”一脉相承，是我国IT产业发展升级采取的长久之计。近年来，我国数据库产业发展迅速，实现从无到有，从可用到好用的发展，与国际水平差距逐渐缩小。 国产HTAP数据库已具备“信创”推广能力：天云数据从创业之初就全力投入技术研发，十余年一直坚持“硬核技术”路线，所研发的HTAP数据库（Hubble数据库）已经具备去中心化、数据一致性、可串行化、分布式SQL、独占空间和非独占空间、混合存储、存储和查询统一实例、混合逻辑时钟等数十项硬核技术。近期率先与

随着互联网时代的到来，人们足不出户用手机就可以办理各种银行业务。 事物总有两面性，便捷的网上交易使得银行系统中积累的数据量越来越大。因此，为了保证核心数据存储系统正常工作，常规银行无法实时查询五年以上的历史数据。 普通业务办理，可以预约等待。 但如果遇到公安办案、监管部门查交易明细等紧急情况时，无法满足实时查询的需求会影响办案的时效性。 随着时间的流逝，历史数据查询难度日益增加。 源起：银行数据存贮、服务现状 目前银行核心系统一般只保存近13个月左右的数据，所有历史数据几乎离线保存在如磁带库、光盘库中，以减

真营销只有两种情况：一种是把你的产品卖给你的用户，另外一种是把你的品牌卖给你的用户。第一种当下就产生业务，第二种之后会产生业务。 营销的魅力不仅在于精准，更在于实时。这就像追求恋人一样，投其所好很重要，在正确的时间做正确的事更重要。 传统数据营销是通过分散数据源，提供数据采集、加工、处理、存储、应用等功能，采用统计汇总等方式实现KPI、报表、仪表盘等功能满足业领导宏观决策需要。对于新的业务场景，IOE设备面临太多挑战，如数据规模的扩大，从GB到TB再到PB，数据类型从结构化到非结构化，数据亲密关系计算、数据

用户在网上购物时，搜索引擎都会给用户打标签，比如购买什么价位的消费品，喜欢什么版型的衣服，以及注册账号的偏好信息等。这一系列的沉淀形成的用户固定的长期标签，这些标签是精细化用户运营的基础。 传统数据库就是基于这些标签去做精细化用户运营。**但标签体系建设的重点不仅在于标签的创建更在于标签的持续优化。**用户标签会随着业务场景、用户角色等变量因素改变，所以标签信息的持续优化是重中之重，标签的新增与修改等都与业务产生有着密不可分的影响。比如用户下单第一笔尿不湿，那她很有可能已经荣升宝妈了，这个标签若不及时更新，

有一双未卜先知的眼睛，城市里错综复杂的十字路口和成千上万的路段里路况都在它的视野里，并且它能提前告诉你5分钟后、10分钟后，乃至1个小时后的路况信息； 有这样一个全能机器管家，它能很好的感知设备性能的衰退、精度的缺失、易耗件的磨损和资源的浪费等，立体的给你呈现设备的所有信息； 有这样一个安全大咖，它可以360度感知全球气候异常情况，实时监测环境的不安全性，提前预防、实时预警。 这都是物联网的实际应用。这些用例有两个共同点：海量数据、实时分析计算。 海量到什么程度？一天的数据量就能超过1000亿条！互联网时代

98%的企业都面临数据孤岛问题，数据没标准、数据难统一、数据难打通、数据质量低。打通数据孤岛难度大周期长成本高，企业每年在糟糕的数据上多花费近25%的成本。 有痛点就有市场，数据湖应市而生。 为什么是数据湖而不是数据河或者数据海？ 河强调的是流动性，而企业数据是需要长期沉淀的，因此叫湖比叫河要贴切。既是长期沉淀下来的数据，一定是海量数据，而且是多种类型的数据包括结构化、半结构化和非结构化。因此，数据湖产品必须能从多个数据源获取原始数据，并且针对不同的业务，同一份原始数据还可能有多种满足特定内部模型格式的数据

友情提示：演讲有科普型信息，也有技术型信息，大家可以按需提取。 一、变化趋势 数据四大变化：万物互联的时代，量级达到千亿级每天，非结构化数据占比很高，实时分析的需求高。 数据使用者发生变化：传统的数据消费者是决策者是领导，需要领导根据数据分析结果进行宏观决策。但现在是个性化服务的时代，用户需要专属品牌、个性服务、一对一营销。比如购物时“猜您还喜欢的商品推荐”就是很好的例子，这需要业务人员及时操作，再做数据报告等领导决策，损失会很大。背后支撑的一定是一线人员根据数据做分析。通过数据更好的感知客户、洞察客户、服

通过上文我们可以知道，NewSQL的优势在于SQL的支持能力、扩展性、实时性和事务的处理能力。在NewSQL蓬勃发展的前提下，许多新兴技术公司开始打造自己的新一代分布式数据库，其设计理念： 一、分布式架构 通过主节点下发任务的模式，每个节点都可以提供服务，在扩展性上，Master不会是瓶颈。 1、客户端通过不同的接口访问形式，直接访问主服务节点服务 2、主服务节点收到服务请求进行分析处理，分配到不同的分配服务节点执行 3、分片服务节点收到执行请求，进行sql解析处理并执行SQL计划 4、SQL执行服务底层

HTAP数据库Hubble Hubble是天云在多年大型银行大数据项目实施经验基础上，针对海量数据实时在线、即时分析场景抽象出来的最佳实践，支持上万用户并发实时查询、多源异构、支持ANSI99/2003 SQL标准。满足海量数据下高效插入、删除、修改和复杂查询需求并支持事务处理的HTAP数据库。 用户收益 应用场景 而使用天云数据HTAP数据库Hubble，则可以实现： 场景一： 行业数据中台 内部的结构化数据、内部的非结构数据，外部结构化数据，外部非结构化数据，通过数据标准去统一做数据交换，之后海