海量数据分布式存储技术-作业六

1.试述云数据库的概念
2.与传统的软件使用方式相比，云计算这种模式具有哪些明显的优势
3.云数据库有哪些特性
4.试述云数据库的影响
5.试述UMP系统的功能
6.试述UMP系统的组件及其具体作用
7.试述UMP系统实现主从备份的方法
1.解：
云数据是部署和虚拟化在云计算环境中的数据库。云数据库是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法，它极大地增强了数据库的存储能力，消除了人员、硬件、软件的重复配置，让软、硬件升级变得更加容易，同时，也虚拟化了许多后端功能。云数据库具有高可拓展性、高可用性、采用多租形式和支持资源有效分发等特点。
2.解：
a、可直接购买云计算厂商的软件服务；
b、软件运行在云计算厂商服务器上，用户在有网络的地方就可以使用软件服务。
c、零成本投入，按需付费，极其廉价；
d、维护零成本，由云计算厂商负责；
e、获得IT资源的速度：随时可用，购买服务后立即可用；
f、资源可拓展。
3.解：
a、动态可拓展
b、高可用性
c、较低的使用代价
d、易用性
e、高性能
f、免维护
g、安全
4.解：
a、云数据库可以满足大企业的海量数据存储需求。
b、云数据库可以满足中小企业的低成本数据存储需求。
c、云数据库可以满足企业动态变化的数据存储需求。
5.
解：UMP系统是构建在一个大的集群之上的，通过多个组件的协同作业，整个系统实现了对用户透明的容灾、读写分离、分库分表、资源管理、资源调度、资源隔离和数据安全功能。
a、容灾
云数据库必须向用户体用一直可用的数据库连接，当MYSQL实例发生故障时，系统必须自动执行故障恢复，所有故障处理过程对于用户而言是透明的，用户不会感知到后台发生的一切。为了实现容灾，UMP系统会为每个用户创建两个MYSQL实例，一个是主库，一个是从库，而且，这两个MYSQL实例之间互相把对方设置为备份机，任何一个MYSQL实例上面发生的更新都会复制到对方。同时，Proxy服务器可以保证只向主库写入数据。
b、读写分离
由于每个用户都有两个MYSQL实例，即主库和从库，因此，可以充分利用主从库实现用户读写操作的分离，实现负载均衡。UMP系统实现了对于用户透明的读写分离功能，当这个功能被开启时，负责向用户提供访问MYSQL数据库服务的Proxy服务器，就会对用户发起的SQL语句进行解析，如果属于写操作，就直接发送到主库，如果是读操作，就会被均衡地发送到主库和从库上执行。
c、分库分表
UMP支持对用户透明的分库分表（Shard/Horizontal Partition）。但是，用户在创建账号的时候需要指定类型为多实例，并且设置实例的个数，系统会根据用户设置来创建多组MYSQL实例。除此以外，用户还需要自己设定分库分表规则，如需要确定分区字段，也就是根据哪个字段进行分库分表，还要确定分区字段的值如何映射到不同的MYSQL实例上。
d、资源管理
UMP系统采用资源池机制来管理数据库服务器上的CPU、内存、磁盘等计算资源，所有的计算资源都放在资源池内进行统一分配，资源池是为MYSQL实例分配资源的基本单位。整个集群中的所有服务器会根据其机型、所在机房等因素被划分为多个资源池，每台服务器会被加入到相应的资源池。在资源池划分的基础上，UMP还在每台服务器内部采用Cgroup将资源进一步地细化，从而可以限制每个进程组使用资源的上限，同时保证进程组之间相互隔离。
e、资源调度
UMP系统中有三种规格的用户，分别是数据量和流量比较小的用户、中等规模用户以及需要分库分表的用户。多个小规模用户可以共享一个MYSQL实例。对于中等规模的用户，每个用户独占一个MYSQL实例。用户可以根据自己的需求来调整内存空间和磁盘空间，如果用户需要更多的资源，就可以迁移到资源有空闲或者具有更高配置的服务器上。对于需要分库分表的用户，会占有多个独立的MYSQL实例，这些实例既可以共存在同一台物理机上，也可以每个实例独占一台物理机。UMP通过MYSQL实例的迁移来实现资源调度。借助于阿里集团中间件团队开发的愚公系统，UMP可以实现在不停机的情况下动态扩容、缩容和迁移。
f、资源隔离
当多个用户共享同一个MYSQL实例或者多个MYSQL实例共存在同一个物理机上时，为了保护用户应用和数据的安全，必须实现资源隔离，否则，某个用户过多消耗系统资源会严重影响到其他用户的操作性能。
g、数据安全
数据安全是让用户放心使用云数据库产品的关键，尤其是企业用户，数据库中存放了很多业务数据，有些属于商业机密，一旦泄露，会给企业造成损失。UMP系统设计了多种机制来保证数据安全。

1. SSL数据库连接。
2. 数据访问IP白名单。
3. 记录用户操作日志。
4. SQL拦截。

6.解：
a、Controller服务器:向UMР集群提供各种管理服务，实现集群成员管理、元数据存储、MySQL 实例管理、故障恢复、备份、迁移、扩容等功能。
b、Web控制台:向用户提供系统管理界面。
c、Proxy服务器:向用户提供访问MySQL数据库的服务;除了数据路由的基本功能外，Proxy服务器中还实现了屏蔽MySQL实例故障、读写分离、分库分表、资源隔离、记录用户访问日志等。
d、Agent 服务器:管理每台物理机上的MySQL 实例，执行主从切换、创建、删除、备份、迁移等操作，同时还负责收集和分析MySQL进程的统计信息、慢查询日志和bin-log。
e、日志分析服务器:存储和分析Proxy服务器传入的用户访问日志，并支持实时查询一段时间内的慢日志和统计报表。
f、信息统计服务器:定期将采集到的用户的连接数、QoS数值以及MySQL实例的进程状态用RRDtool进行统计。
g、愚公系统∶是一个全量复制结合bin-log分析进行增量复制的工具，可以实现在不停机的情况下动态扩容、缩容和迁移。
7.解：
UMP系统会为用户创建两个MySQL 实例，一个是主库，一个是从库，且这两个MySQL 实例之间相互把对方设置为备份机，任何一个MySQL实例上面发生的更新都会复制到对方。一旦主机宕机,Controller服务器会启动主从切换，修改映射关系;宕机后的主库在恢复处理后会再次上线，并从从库中复制更新，直到更新到完全一致状态的时候，Controller服务器会再次发起主从切换操作。