(文中有惊喜)走进云时代的数据库

数据技术嘉年华等你来

云时代的数据库






最近几年,随着云计算相关技术的发展,各种不同类型的云层出不穷,服务越来越多不同类型的企业业务,传统企业也渐渐开始探索上云的道路。在云上,作为业务最核心的数据库,相比之前的传统方案会有哪些变化呢?


那么云数据库主要有一些什么样的特点呢?

  • 弹性伸缩

传统的数据库方案,常见的会选用 Oracle,MySQL,PostgreSQL。在云时代,数据量的规模有爆发性的增长,传统的数据库很容易遇到单机的存储瓶颈,不得不选用一些集群方案,常见的比如 Oracle RAC、 MySQL Sharding 等,而这些集群方案或多或少都有一些不令人满意的地方。

比如说,Oracle RAC 通过共享存储的硬件方案解决集群问题,这种方式基本上只能通过停机换用更大的共享内存硬件来解决扩容问题,RAC 节点过多会带来更多的并发问题,同样也会带来更高的成本。

以 MySQL Sharding 为代表的数据分片方案,很多时候不得不提前对数据量进行规划,把扩容作为很重要的一个计划来做,从 DBA 到运维到测试到开发人员,很早之前就要做相关的准备工作,真正扩容的时候,为了保证数据安全,经常会选择停服务来保证没有新的数据写入,新的分片数据同步后还要做数据的一致性校验。当然业界大公司有足够雄厚的技术实力,可以采用更复杂的方案,将扩容停机时间尽量缩短(但是很难缩减到 0),但是对于大部分中小互联网公司和传统企业,依然无法避免较长时间的停服务。

在云时代,理想中所有的资源都是根据用户业务需求按需分配的,服务器资源,应用容器资源,当然也包括数据库资源。添加或者减少新的数据库资源,完全就像日常吃饭那样稀疏平常,甚至用户基本感知不到。比如作为一个电商用户,在双 11 促销活动之前,可以通过增加数据库节点的方式,扩大更多的资源池,用来部署相应的容器服务,当活动结束之后,再将多余的资源移除去支持其他的服务,这样可以极大地提高资源的利用率,同样可以弹性地支撑各种峰值业务。

  • 高可用

传统的 MySQL 方案,数据复制的时候默认采用异步的方式,对于一个写入的请求,主库写入成功后就会返回成功信息给客户端,但是这个时候数据可能还没有同步给从库,一旦主库这个时候挂掉了,启动从库的时候就会有丢失数据的风险。当然,也有人会选择半同步的复制方式,这种方式在正常情况下是同步的,但是在遇到数据压力比较大的时候,依然会退化为异步的方式,所以本质上来说,同样有丢失数据的风险。其他也有一些多主的同步方案,比如在应用层做数据同步,但是这种方式一是需要应用层的配合,二是在对网络超时的处理非常复杂,增加心智负担。

在云时代,因为所有的数据库资源都是分布式存储的,每个数据库节点出现问题都是很正常的事情,所以就必须有一种可以实现数据一致性的数据复制方式来保证服务的高可用,业界给出的答案就是:Paxos/Raft(关于 Paxos 和 Raft 的实现细节我们不在这里展开)。

同样,在云时代,数据库的 DDL 操作也会是一个非常有趣的事情。以一个常见的 Add Column 操作为例,在表规模已经很大的情况下,在传统的实现方案中,比较有参考意义的是,通过一些工具,创建类似表级别的触发器,将原表的数据同步到一个新的临时表中,当数据追平的时候,再进行一个锁表操作,将临时表命名为原表,这样一个 Add Column 操作就完成了。但是在云时代,分布式的数据存储方式决定了这种方案很难实现,因为每个数据库节点很难保证 Schema 状态变更的一致性,而且当数据规模增长到几十亿,几百亿甚至更多的时候,很短的阻塞时间都有可能会导致很大的负载压力变化,所以 DDL 操作必须是保证无阻塞的在线操作。值得欣慰的是,Google 的 F1 给我们提供了很好的实现参考,TiDB 即是根据 F1 的启发进行的研发,感兴趣的同学可以看下相关的内容。

  • 易用透明

我们可以将云数据库想象成一个提供无限大容量的数据库,传统数据库遇到单机数据存储瓶颈的问题将不复存在。已有的程序基本上不怎么需要修改已有的代码,就可以很自然地接入到云数据库中来获得无限 Scale 的能力。增减数据库节点,或者节点的故障恢复,对于应用层来说完全透明。另外,云数据库的监控、运维、部署、备份等等操作都可以在云端通过高效的自动化工具来自动完成,极大地降低了运维成本。

  • 多租户

云数据库本身应该是可以弹性伸缩的,所以很自然的,从资源利用率的角度来考虑,多个不同用户的数据库服务底层会跑在一个共享的云数据库中。因此多租户技术会成为云数据库的标配。

低成本

低成本应该是云时代基础设施最明显的特点。首先,云数据库的高可用和容错能力,使得我们不再需要昂贵的硬件设备,只需要普通的 X86 服务器就可以提供服务。然后,受益于 Docker 的虚拟化技术,使得不同类型的应用容器可以跑在同一个物理机上,这样可以极大地提高资源的利用率。其次,多租户的支持,使得不同的用户可以共用一套底层的数据库存储系统,在数据库层面再一次提高了资源的利用效率。再次,云数据库的自动化运维工具,降低了整个核心数据库的运维成本。最后,云数据库资源是按需分配的,用户完全可以根据自身的业务特点,选购合适的服务资源。

  • 高吞吐

云数据库虽然可以做到弹性扩容,但是本身是分布式存储的,虽然可以通过 Batch Write、Pipeline 和 Router Cache 等方式加快访问 SQL 请求的数据,但是相对传统单机的数据库来说,在数据访问链路上至少也要多走一次网络,所以大部分并发量不大的小数据量请求,都会比单机延迟要高一些。也就是说,当没有足够高的并发 SQL 访问的话,其实不能完全体现云数据库的性能优势,所以这也是我们在选用云数据库的时候需要认识到的问题,云数据库更多的是追求高吞吐,而不是低延迟。当并发大到一定规模,云数据库高吞吐特性就显现出来了,即使在很高的并发下,依然可以维持相当稳定的延迟,而不会像单机数据库那样,延迟线性增长。当然,延迟的问题,在合理的架构设计方案下,可以通过缓存的方式得到极大的缓解。

  • 数据安全

云数据库的物理服务器分布在多个机房,这就为跨数据库中心的数据安全提供了最基础的硬件支持。谈到金融业务,大家耳熟能详的可能就是两地三中心,比如北京有两个机房,上海有一个。未来一切服务都跑在云上,金融类的业务当然也不例外。相比其他业务,金融类业务对数据安全要求就要高得多。当然,每个公司内部都有核心的业务,所以如果上云的话,也会有同样的强烈需要。这样,对云数据库来说,数据的一致性、分布式事务、跨数据中心的数据安全等更高端的需求有可能会日益强烈。常见的数据备份也有可能会被其他新的模式所取代或者弱化,比如基于 Paxos/Raft 的多副本方案,本身就保证了会有多份备份。

  • 自动负载平衡

对于云数据库来说,负载平衡是一个很重要的问题,它直接决定了整个云数据库系统性能的好坏,如果一个数据库节点的数据访问过热的话,就需要考虑把数据迁移到其他的数据库节点来分担负载,不然就很容易出现性能瓶颈。整个负载平衡是一个动态的过程,调度算法需要保证资源配比的最大平衡,还有保证数据迁移的过程对系统整体的负载影响最小。这在未来也是云数据库需要解决的一个核心问题。



本届数据技术嘉年华活动,“云”也是一个分享的重点,这里,我们列出了部分嘉宾以及他们带来的主题,看看有您感兴趣的吗?(扫描任意二维码即可注册购票,99元的票务参会后全额退款)


主题

嘉宾

公司和职务

企业服务的新时代  

花磊

博云创始人,CEO

基于企业核心数据系统的PaaS云平台建设新进展

熊军

云和恩墨研发总经理

业务场景驱动,IaaS与PaaS融合成常态

王璞

优云数智CTO

开源云计算推动金融云创新实践 

周崇毅 

EasyStack副总裁 

企业容器化平台落地的二三事 

叶挺 

DaoCloud产品总监 

燃烧云的卡路里,在云端运行数据密集型工作负荷

董乃文

微软首席创新技术架构师

云时代的SQL Server及高可用技术解析邹建云和恩墨研究员

稳筑基石,云帆万里-数据技术的发展和平台创新  

盖国强

云和恩墨创始人

下一代企业级云数据库POLARDB架构设计

吕漫漪 

阿里云研究员

腾讯云自研分布式数据库—CynosDB 

胡彬 

腾讯云专家工程师

Oracle 18c 云时代下的架构与创新

侯圣文

恩墨学院院长




640?wx_fmt=jpeg


来自清华大学MBA,中科院软件所硕士、软件工程博士 花磊 先生,他是博云的创始人 CEO,曾在微软亚洲工程院长期任职,担任Office 365平台监管和数据挖掘模块的高级项目经理,设计并完成Office 365平台的第一版的服务器BI功能。花磊老师带来的主题是“企业服务的新时代”。


640?wx_fmt=jpeg


来自云和恩墨的 熊军 先生,他是云和恩墨软件产品研发部总经理,Oracle ACE总监,具备近20年的数据领域服务经验,面对云时代的挑战,熊军带领团队研发了基于底层分布式存储的zData数据库一体机,支持多数据库管理运行的PaaS平台 zCloud,这些产品正在帮助电信、金融等行业客户快速构建统一的数据库云平台,在本次大会他将和大家分享PaaS领域的新进展以及核心行业客户的实践案例。熊老师带来的主题是“基于企业核心数据系统的PaaS云平台建设新进展”。


640?wx_fmt=jpeg


来自EasyStack的 周崇毅 先生,他是 EasyStack 公司副总裁,曾任职于Oracle公司,担任中国区政府行业Exadata首席架构师、在HP公司担任中国北方区政府行业技术主管职位、在长天科技集团担任技术总监职位。周崇毅老师带来的主题是“开源云计算推动金融云创新实践”。


640?wx_fmt=png


来自优云数智的CTO 王璞 博士,美国 George Mason 大学计算机博士,北大计算机硕士,擅长分布式计算、大规模机器学习、海量数据处理,曾任 Google 广告部门数据平台构架师。王璞老师带来的主题是“业务场景驱动,IaaS与PaaS融合成常态”。


640?wx_fmt=jpeg


来自微软公司的首席创新技术架构师 董乃文 先生,他有20多年的计算机软件行业工作经验,积极推动云计算、大数据、人工智能等创新技术在制造业、零售业、新媒体、在线游戏等行业的技术推广与合作。作为标准化专家工作组成员参加多个云计算、大数据、SOA等国家技术标准的制定工作。曾任北京软件行业协会软件过程改进协会秘书处副秘书长等积极推动创新开发方法和技术的社区共享。董老师带来的主题是“燃烧云的卡路里,在云端运行数据密集型工作负荷”。


640?wx_fmt=jpeg


来自DaoCloud公司的产品总监 叶挺 先生,他对于企业应用上云有深入研究和丰富实践,擅长从业务场景寻找技术解决方案,致力于帮助企业落地金融级稳定的应用支持 PaaS 平台。叶老师带来的主题“企业容器化平台落地的二三事 ”。


640?wx_fmt=jpeg


阿里云研究员 吕漫漪 女士,她在数据库领域有近20年的从业经验。2018年加入阿里云,负责领导基于MySQL的云数据库开发。在此之前就职于Oracle,负责领导全球MySQL的 query processing团队,并曾在Sun的数据库核心部门任职产品经理和工程经理,吕老师带来的主题是下一代企业级云数据库POLARDB架构设计”。


640?wx_fmt=jpeg


胡彬,专家工程师,10年后台研发经验,从事数据库领域工作近5年。目前任职于腾讯云数据库团队,负责腾讯云TDSQL、PostgreSQL、SQLServer等多款数据库产品的研发工作。目前主导CynosDB的架构设计与研发。胡老师带来的主题是“腾讯云自研分布式数据库—CynosDB”


640?wx_fmt=jpeg


侯圣文,Oracle ACED,OCM联盟创始人,ACOUG核心讲师,曾任职于海关总署数据中心;国际航空运输协会(IATA)任数据架构师。现任云和恩墨培训业务中心总经理一职,致力推广Oracle技术。培训经验丰富,讲课富有激情和感染力,善于理论联系实践,擅长以通俗易懂、诙谐幽默的语言讲解枯燥深奥的数据库理论,作为OCM认证金牌讲师,目前培养OCM大师百余人,培训DBA千余人。侯老师带来的主题是“Oracle 18c 云时代下的架构与创新”。


640?wx_fmt=jpeg


邹建,资深数据库专家,精通各项 SQL Server 技术,具有丰富的管理、维护、优化能力以及业务应用经验。他一直热心于技术知识的分享、传播,持续活跃在 CSDN 和 MSDN 社区,曾多年蝉联 CSDN 论坛积分榜首。邹建还是 2004~2010、2013 年度 MVP (微软最有价值专家)获得者。著有《深入浅出 SQL Server 2005开发、管理与应用实例》《SQL Server 2000开发与管理应用实例》等畅销书。邹建老师带来的主题是“云时代的 SQL Server及高可用技术解析


640?wx_fmt=jpeg


盖国强,云和恩墨创始人,Oracle ACE总监,中国地区首位Oracle ACE和ACE总监,曾获评"中国首届杰出数据库工程师"奖,拥有近 20 年的数据库实施和顾问咨询经验,对于数据库性能优化及内部技术具有深入理解。著有《深入解析Oracle》、《循序渐进Oracle》等技术书籍。盖老师带来的主题是“稳筑基石,云帆万里-数据技术的发展和平台创新”。


本文参考链接:https://zhuanlan.zhihu.com/p/27008115(云时代数据库的核心特点)

数据技术嘉年华大礼包

在本届数据技术嘉年华大会上,您不仅可以获得行业技术大礼包,我们在现场为技术爱好者们准备了抽奖环节,主办方以及各大赞助伙伴为大家准备了多份精美大礼包,每个礼包中包含...


  • 青云——精美限量纪念T恤   

  • 云和恩墨——限量纪念电脑内胆包

  • PingCAP——健身斜跨帆布包 

  • 至顶网——精美玩偶   

  • 戴尔——马拉松纪念款折叠双肩包

  • 创业邦——2018年会价值588门票1张    

  • 容联——2018商务电脑手提包  

  • 易捷行云——运动款纪念双肩包   

  • 华章——2018珍藏版技术图书

  • 等等


支付宝“锦鲤”活动仅仅出现了一个“信小呆”,本届数据技术嘉年华现场将出现多个“信小呆”,以上只是礼包中部分奖品,小编已经迫不及待想要更多的人知道这个福利了,动动手指,转发出去,携身边技术爱好者一起来享用这场技术盛宴,最后“满载而归” 吧,[坏笑][坏笑]。


社团粉丝福利:本文下方评论点赞满10个的读者可以得到价值99元优惠券,小编会留言回复您优惠码,一分钱即可参会。


集赞截止时间:2018年11月15日。



点击“原文链接”注册购票哦,购票过程中有任何问题,可加小助手微信:Enmoedu05。


数据技术嘉年华等你来!




近期文章

删了库之后,不要着急跑路

一道面试题看数据库性能和安全的方方面面

Percona发布XtraBackup for MySQL 8.0

独立发布的Oracle严重CVE-2018-3110公告

Oracle宣布在云上正式上线 自治事务处理数据库

为什么看了那么多灾难,还是过不好备份这一关?640?wx_fmt=jpeg

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值