华为云各行业数据库服务整体解决方案、数据库迁移上云解决方案

云南九创科技

于 2021-01-25 13:58:48 发布

阅读量2.7k

点赞数

分类专栏：华为云行业解决方案企业云安全服务云计算服务文章标签：华为云数据服务解决方案企业上云数据库迁移云南华为云一级经销商华为云昆明精英服务商华为云各行业数据库解决方案

本文链接：https://blog.csdn.net/yn888888/article/details/112978055

版权

云计算服务同时被 3 个专栏收录

21 篇文章

订阅专栏

华为云行业解决方案

10 篇文章

订阅专栏

企业云安全服务

7 篇文章

订阅专栏

一、数据库历史回顾和趋势：云化，融合是方向

数据库技术是信息技术领域的核心技术之一,几乎所有的信息系统都需要使用数据库系统来组织、存储、操纵和管理业务数据。数据库领域也是现代计算机学科的重要分支和研究方向。数据库技术于60年代诞生，70年代兴起关系型数据库和SQL语言，80年代发展SQL事实标准化，也是I&O的黄金岁月。90年代转型使得互联网数据爆发，2000年代新玩家 4V • NoSQL流行，当前Scale-Out也成为主流，相信将来会有更多的创新和发展。

基于华为累积多年的数据库研发、搭建和维护经验，结合数据库云化改造技术，大幅优化传统数据库，为您打造更高可用、更高可靠、更高安全、更高性能、即开即用、便捷运维、弹性伸缩的数据库服务，拥有容灾、备份、恢复、安防、监控、迁移等全面的解决方案。

华为云数据库服务解决方案、云南企业上云数据库迁移服务云南天成科技吴经理：13698746778 QQ：463592055

不同类型的数据库基于不同的理论基础，满足不同的数据管理、处理需求

不同类型的数据库基于不同的理论基础，满足不同的数据管理、处理需求
	关系型数据库 Oracle/MySQL	键值数据库 Redis	宽列数据库 Cassandra	文档数据库 MongoDB	图数据库 Neo4J	ML数据解决方案 Spark/Tensorflow	数据湖解决方案融合数据分析
应用场景	事务处理	储存用户信息等	日志等	Web应用等	图分析、搜索	数据分析、特征抽取	全场景
数据模型	关系表	K-V键值对	以列簇式存储	KV键值对，V结构化	图模型	稀疏矩阵	关联数组
数学基础	关系代数，集合论	hash table	KV二维数组	嵌套KV	图论	线性代数	关联代数

二、当前主流的关系型数据库系统架构对比

	单元	Shared-Disk	Shared-Virtual-Disk (分布式架构)	Shared-Nothing (分布式架构)
代表	PG、MySQL	RAC/pureScale	Aurora/PolarDB/Taurus	Spanner/OceanBase/GaussDB
特点	1、单机主备架构 2、扩展能力不足	1、多写、多读 2、Scale-up性能较高； 3、Scale-out扩展性不足	1、一写、多读；计算、存储分离；多副本读提升性能，写性能受单Primary节点限制。 2、支持paxos/raft多AZ高可用	1、sharding多写、多读；读写性能均可Scale-out，不受限于单节点处理能力。 2、支持paxos/raft多AZ高可用
	国产自研（达梦、金仓、南大、神舟）的关系型数据库都为单机架构

三、华为云数据库服务全景概况

SQL数据库：面向传统 OLTP 数据库业务

NoSQL数据库：面向海量扩展业务

1、数据库RDS 服务的架构和关键功能

关键功能特性及说明

SLA：99.95%，服务中断时间不超过5分钟/月，1小时/年
安全：多种安全策略保护数据库和用户隐私，例如：VPC、子网、安全组、 SSL；搭配数据库安全服务DBSS提供事前、中、后安全防护，数据脱敏及审计服务。
数据迁移：提供从自建库或者其它云离线和在线迁移能力
高可用：主备双机热备，一旦主数据库实例发生故障导致不可用，即可在很短时间内切换到备用数据库实例上
监控：实时监控数据库实例及引擎的关键性能指标，包括计算/内存/存储容量使用率、I/O 活动、数据库连接数、QPS/TPS、缓冲池、读/写活动等
弹性伸缩：水平伸缩：增删只读实例（Proxy 读写分离即将上线），搭配 DDM 实现分库分表水平扩容，垂直伸缩：CPU/内存变更、存储在线分钟级扩容
备份与恢复：备份：支持自动备份（长达732天）、手动数据备份
恢复：支持PITR恢复，表级对象恢复
日志管理：查询数据库错误日志和慢 SQL 日志及 binlog 日志下载
参数配置：管理页面在线修改生效配置参数和参数组配置管理功能
云DBA 智能运维：赋予用户对实例进行全面分析的能力，一键诊断问题 SQL ,实时诊断分析 RDS 的运行状态及提交诊断报告；应急救护快速解决故障。

2、云数据库 MySQL 功能特性

GTID 约束放开

支持 create table…select…
支持显示事务 create temporary table…
5.5 到 5.6 平滑迁移

线程池(thread pool)

基于 CPU 规格，创建有限的线程，作为常驻线程池组，减少线程切换和内存消耗
Connection 按优先级调度，尽可能让一个事务快速结束，而不是让众多的事务同时展开，缓慢执行

多线程复制(MTS)

在5.6中引入 MTS，基于逻辑时钟多线程复制，降低复制延迟，减少 RTO。

MyISAM 透明转换

透明转换成 InnoDB，解决 MyISAM 中的问题
无需应用改造
提供自由开关

权限控制

限制 reset master; reset slave;
限制 SET PASSWORD 修改内置账号
限制 kill 内部线程
限制 drop, alter, update 系统库表

备份锁

内核支持 backup lock 锁
提供 have_backup_locks 参数
长事务不会阻塞备份

性能相关

SQL aggregate 下推
double-write buffers 并行化
增强 adaptive data page flushing 算法
page cleaners 并行化增强

运维相关

root 账号 kill 其他账号的线程
查看单个线程的 CPU、内存占用情况
查看表、索引的统计信息

3、云数据库 PostgreSQL 介绍

多样化的数据类型

不仅支持常见的字符、数字类型，还包括数组、空间数据类型，网络数据类型等，另外支持自定义数据类型

编程接口和语言

ODBC / JDBC / Libpq PL / Perl、plPHP、PL/Python、PL/Ruby、 PL/Tcl 等

高安全性

字段加密基于 DB / Schema / 表/列的权限控制

NoSQL 兼容

基于 SQL 支持 JSON、XML 等非结构化数据类型

强大的并发控制

4种标准的事务隔离等级 B-tree/GiST/GIN/SP-GiST 索引表级锁/行级锁/建议锁

使用 PG 数据库的企业

平安科技 / 去哪儿 / Instagram / 金山 / 百度

云数据库 PostgreSQL 增强版

高度兼容 Oracle语法：高度兼容 Oracle、超低数据库及业务改造成本，数据类型、内置函数、全面 SQL 语法、存储过程、匿名块、高级包、系统视图、完整支持分区表、存储过程事务管理、表空间等 200+项。
成本低：超高性价比，无需 License 费用成本节约 70%+
安全合规：国产化安全认证加密算法增强（ SHA-256）、插件权限优化、用户组权限管理规则优化
易用性提升：一键式 Oracle 模式切换、数据订阅、动态修改端口
更强性能：并行查询提速、支持基于 LLVM 的 JIT 编译加速
可靠性增强：按时间点恢复、高智能 HA、数据迁移数据校验

4、企业级高扩展海量存储分布式数据库: Taurus

计算存储分离、云化架构的企业级云数据库

Taurus 数据库核心优势

超高性能：写300 KQPS 、读1000 KQPS

高扩展性：15只读副本，100T 存储

高可靠性：跨AZ部署，数据三副本， 99.99%可用性

高兼容性：MySQL 兼容，结合 DRS 从MySQL 在线迁移

超低成本：1/10的 RDS MySQL 成本

应用场景

金融、娱乐：高吞吐量、大数据量处理

手游、电商：高可用、弹性伸缩能力

电信、互联网：高可靠、异地容灾

客户价值

100T 存储、免分库分表，解决海量数据问题

完全兼容 MySQL，无需应用改造

15个只读副本，读写分离，解决性能扩展问题

跨AZ部署，异地容灾，解决高可靠性问题

5、高斯数据库-分布式企业级数据库

高性能

OLTP：单机百万TPMC，性能超越业界标杆对标产品 30%，超越开源mysql数据库5-8倍；

OLAP：全并行架构及列存向量化引擎，实现万亿数据关联分析秒级响应。

高扩展

OLTP：分布式线性扩展能力，TPC-C（10%分布式事务）扩展比大于0.8；

OLAP：开放架构，按需水平扩展，可扩展到2048节点；

易使用

易开发：兼容标准ANSI SQL2003，业务开发简单；

易迁移：自研数据库迁移工具，支持核心数据库平滑迁移；

易使用：数据库一体机软硬结合，深度调优，开箱即用；

6、文档数据库DDS服务：存储计算分离的文档数据库服务

架构演进

架构优势

文档数据库DDS服务：优势场景

	游戏	物联网/车联网	互联网
文档数据库应用	存储游用户信息，装备、积分等直接以内嵌文档形式存储。方便查询、更新；	用于存储所有接入的智能设备信息，以及设备汇报的日志信息；	存储电商平台的订单信息，订单状态可以随派送过程不断更新；
关键竞标项/ 行业刚需	快速回档能力：补救快速迭代带来的线上问题。要求至少能回溯一周内的数据；低成本诉求：做游戏如同赌注，客户对每款游戏的投入成本极其敏感；	百 TB 存储需求：车联网行业，国家要求存储 1-2 年的车辆数据；灾备/迁移要求：跨 region 数据容灾；云下到云上，异构云迁移；	弹性伸缩需求：微博/直播/电商/打车等应用，有典型的业务高低谷；高并发需求：考勤打卡等业务要求高并发能力；

数据复制服务 DRS - 迁移过程业务无中断

导航式数据迁移，客户易操作

公有云项目拓展关键场景--数据库迁移

支持各种数据库来源

友商云（三A云，T云）
本地IDC
云内ECS自建数据库
云内RDS

支持各种网路方式

公网
VPN
专线
云内VPC

支持各种数据库

MySQL
SQL Server
PostgreSQL
MongoDB

支持各种云形态

公有云
公有专属云
公有全栈云

数据自由流动

入云
出云

DRS为在线迁移场景量身打造，确保业务平滑上云

业务零中断

在线迁移技术
数据实时同步
迁移中业务无需中断

数据零丢失

断点续传，故障重试
迁移数据和索引等
迁移后对象、数据对比

低门槛

引导式流程，跟着指引操作
详细、友好的信息提示
预检查让迁移成功有保障

低风险

预检查让问题提前识别
迁移过程时间预估
关键数据库参数迁移

四、数据库迁移解决方案-为客户数据上云保驾护航

1、背景

客户业务7*24在线
访问量大和数据量大，以**科技为例，单库数据量近2TB，压力1000TPS，完成30套核心数据库在线迁移。
业务流量和压力大，可能在集中的时间段出现高于日常流量数倍的业务高峰

2、客户痛点

数据迁移实施过程中业务不能中断；
割接时数据不能出问题；

3、解决方案

迁移业务场景调研，数据库信息收集；
评估数据在线迁移方案、测试验证和方案确定；
迁移实施、数据校验和割接；

4、数据库迁移流程

5、数据迁移方案和基线

结合客户项目经验，形成评估模型和算法，指导评估迁移项目

表数据量总和	最大表数据量	索引数据量总和	导出时长	导入时长	索引创建时长	增量迁移追平时长	数据校验时长	数据迁移时长
100GB	2093MB	6500MB	18min	39min	22min	13min	96min	92min
500GB	2143MB	32500MB	91min	248min	131min	83min	4070min	553min
1TB	2143MB	65000MB	183min	493min	247min	195min	65min	1144min

五、华为云数据库行业解决方案

1、金融行业：金融版+容灾+数据库安全防护能力

客户痛点

业务需要使用金融专属区，实现资源隔离
需要实现异地灾备，保障可用性，满足监管要求
需要满足数据存储高可用一致性，保证数据0丢失
海量影像、文件等非结构化数据存储需求，需要轻松实现弹性扩展
对数据安全性要求极高，需要随时保障数据资产安全。

华为云数据库的解决方案

北上深打造金融专区，满足两地三中心架构
提供跨region数据安全灾备，满足金融合规监管要求
MySQL金融版采用Paxos协议实现数据强一致性，保证数据0丢失
DDS增强版存储计算分离，可轻松实现海量存储，可提供秒级弹性扩容
DBSS提供数据脱敏、数据库审计、防拖库和防注入功能，保障云上数据库安全
上线Proxy中间件，实现弹性读写分离
上线分布式数据库Taurus，满足企业分布式高性能需求
DRS提供异构数据迁移能力，方便企业快速上云

典型构架

2、汽车行业：业务复杂，数据种类多样，多数据库协同

行业背景和业务特征

高吞吐高并发：数据采集维度多，采集走起短。车辆轨迹、状态等数据需要实时上报，数据量的增长与汽车数量成指数式增长。
业务流量变化大：数据并发写入量和车辆的在线数量紧密相关，
数据种类杂：车联网需求复杂，所产生的数据种类也比较多，无一种数据库能满足所有需求，需要多种数据库协同配合，如何使用好数据库将是业务成败关键。

客户痛点

数据类型多样，需要自己维护多种数据库系统，维护成本高;
传统数据库部署存在安全隐患，数据泄露或被窜改风险极大;
车联网数据增量快，写入并发高，扩容成本与实施难度巨大。以北汽100W 辆车为例，每日新增数据2.8TB，半年数据存量0.5PB;
故障数据结构不固定，写入并发大，业务查询场景复杂;

华为云数据库的解决方案

DBSS+DDM+RDS——业务场景：用户数据、车辆数据，配置数据等关系型数据。竞争力：企业级数据库安全服务DBSS，提供关键数据审计和防SQL注入。 DDM+RDS架构动态弹性业务能
增强版DDS MongoDB——业务场景：LBS地理位置数据，日志数据、车辆故障告警等非结构化数据。竞争力：DDS增强版本Mongo在和友商PK测试中表现优异，性能数倍于友商。
时序数据库-规划中——业务场景：轨迹数据、电池数据，监控数据等需要车载设备上报的数据。

典型构架：

3、互联网行业：分布式架构，读写分离

行业背景

并发量大和数据量大，以热门产品为例，微博、知乎、头条、抖音等产品用户数上亿，秒拍和映客在巅峰时期也曾达到上亿，XX科技业务并发连接数上万，访问流量1GB/s以上，单库数据量近2TB，高规格数据库实例数上百
业务流量变化大，可能在集中的时间段出现高于日常流量数倍的业务高峰，典型场景包括：明星热点、火爆头条、开服、秒杀、双11

客户痛点

请求量大和数据量大，单机部署的数据库事务处理能力无法满足要求
无法预测用户流量以及产生的数据量，业务高峰时客户体验会受到影响，甚至要停服扩容，对资源弹性扩展能力要求高
DBA人力短缺，需要管理、维护数百个数据库实例

解决方案

对于中型互联网客户业务，通过在数据库层开启读写分离的Proxy机制，动态添加只读实例，并搭配DCS缓存服务，分担数据库访问压力，满足数据库资源处理能力弹性扩展的要求
对于大型互联网客户业务，通过采用DDM分布式数据库中间件，水平弹性扩展，分散数据库单点访问压力，满足客户大数据量和高并发访问的要求；过 CloudDBA进行数据库性能诊断、异常跟踪、SQL自动审核，并提供索引推荐和数据库优化建议，将数据库管理和运维操作简单化。

典型部署构架

中型互联网数据库解决方案

小规模（<500QPS或100TPS，读用户<100，写用户<10）：在单库中通过读写分离Proxy提升并发读的性能
中规格（<5000QPS或1000TPS, 读用户<5000，写用户<100）：垂直分库，将不同的业务分布到不同的数据库
搭配DCS缓存服务，分担数据库访问压力

大型互联网数据库解决方案

大规模以上（10K+QPS，10K+TPS 读用户10K+，写用户1K+）：数据分片，将数据表分到不同的数据库中
DDM协议兼容MySQL，水平弹性扩展，分散数据库单点访问压力 3. 方便的弹性和规格扩容，轻松应对业务规模扩大

规划解决方案

提供Scale-Out、分布式、多租户，共享存储的关系型数据库架构
可靠性超越PolarDB，持平Aurora：跨AZ部署，99.99%可用性
扩展性超越Aurora，持平PolarDB：15只读副本，100T存储

Proxy和DDM适用性评估

适用维度	Proxy	DDM
数据同步实时性要求	高	低
查询复杂度适用性	高	低
读写比例侧重点	读占比高于80%	写占比高于30%
数据总量和增量	2TB以内	大于2TB
事务一致性	强	弱