阿里云【7天实践训练营】进阶路线——Day3:阿里云云计算助理工程师认证(ACA)课程3 ~ 4章
高校计划简介
为响应“新基建,新人才”号召,阿里云推出高校计划,向全国高校学生、教师免费提供2.68亿小时云服务器ECS算力,及“学练赛考”技术成长赋能体系。 陪伴两千多所高校的在校生云上实践、云上成长。点击 高校计划立即申请。
我在阿里云高校计划参加了ECS训练营进阶班,赠送了价值600元的阿里云大数据助理工程师认证(ACA),希望大家感兴趣的话也来报名训练营,让我们一起当校友吧。
第3章 : 掌握云数据库RDS
课时11:云数据RDS产品介绍
概要
关系型数据库(Relational Database Service,简称RDS)是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和SSD盘高性能存储,RDS支持MySQL、SQL Server、PostgreSQL、PPAS(Postgre Plus Advanced Server,高度兼容Oracle数据库)和MariaDB TX引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。
产品优势:
- 便宜易用,具有灵活计费、按需变配、即开即用等优点。
- 高性能,包括参数优化、SQL优化建议等。
- 高可用架构和多种容灾方案。
- 高安全性,提供多种安全措施保障数据安全。
基本信息
功能
- 专业的数据库管理平台DMS
- DMS不仅仅时位RDS定制的数据库管理平台,还可以使用户通过浏览器即可安全、方便的进行数据库管理和维护。
- 轻松实现数据回溯
- RDS能够根据备份文件将数据库恢复至7日内任意时刻。
- 专业的数据库优化建议
- RDS提供直观的慢SQL分析报告和完整的SQL运行报告,并提供如主键检查、索引检查等多种优化建议。
- 完善的监控体系
- RDS展示近20种性能资源监控视图。可对部分资源项设置阈值报警,并提供WEB操作、SQL审计等多种日志。
RDS与自建数据库对比
课时12:云数据RDS实例管理
相关概念
- 实例:实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个数据库。
- RDS实例目前支持的最大内存为48GB,最大磁盘容量为1000GB
- 地域:地域是指物理的数据中心。一般情况下,RDS实例应该和ECS实例位于同一地域,以实现最高的访问性能。
- 可用区:可用区是指在某个地域内拥有独立电力和网络的物理区域。同一地域的不同可用区之间没有实质性区别。
- 数据库引擎:RDS支持多种数据库引擎,如MySQL、SQL Server、PostgreSQL、PPAS(Postgre Plus Advanced Server,高度兼容Oracle数据库)和MariaDB。关于各个引擎的介绍,请参见数据库引擎。
- 数据库账号:每个数据库账号可以用于多个数据库,同时每个数据库的读写权限也可被分配给多个数据库账号。一个账号可以创建多个实例。
- RDS连接数:应用程序课同时连接到RDS实例的连接数量。
- RDS磁盘容量:用户购买RDS时所选择的磁盘大小
- RDS管理控制台:管理用户所购买的RDS实例的WEB界面,可对RDS实例进行各种操作。
如何选择RDS
管理控制台演示
课时13:云数据RDS数据库管理
管理控制台演示
基本操作会在实验中实操。
DMS介绍
数据管理DMS支持统一管理MySQL、SQL Server、PostgreSQL、PolarDB、DRDS、OceanBase、Oracle等关系型数据库,AnalyticDB、Data Lake Analytics、ClickHouse等OLAP数据库,MongoDB、Redis等NoSQL数据库。它是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪于一体的数据管理服务。您可以使用数据管理服务实现易用的数据库管理入口,让数据更安全、管理更高效、数据价值更清晰。
功能介绍
- 提供研发从线下环境结构设计到SQLreview到生产发布的完整数据库研发流程。
- 提供字段级别细粒度操作权限管控,所有用户操作在线化、可溯源。
- 支持根据业务灵活配置结构设计、数据变更、数据导出等操作的审批流程。
- 统一研发与数据库交互的入口,任何用户都不再直接接触数据库账号密码也不需要频繁切换数据库连接进行管理。
- 通过平台统一接入数据库,员工无需接触数据库账号访问数据库。
- 员工在平台内通过流程审批开通库、表、列的查询、导出、变更权限,全部操作记录可审计、可溯源
- 单人单次查询数据返回行数上限,每天查询行数、次数上限等均支持灵活定义。
- 平台自动检测变更风险,DBA可根据经验制定规范分级管控。
- 无风险操作轻流程或无流程审核后,研发自助触发平台调度执行。
- 有风险操作审核到DBA评估后,再触发平台调度执行。
- 语法正确性自动保障、变更类型识别、定时自动调度、反馈执行结果无需人肉半夜盯屏。
客户端工具
MAC平台:SEQUEL PRO
官方网站:http://www.sequelpro.com
Windows平台:MySQL-Front
官方网站:https://mysql-front.en.softonic.com/
课时14:云数据RDS的数据迁入
使用数据传输服务(DTS)将本地数据库迁移到RDS PPAS,可以实现应用不停服务的情况下,平滑完成数据库的迁移工作。迁移过程中,对本地的Oracle数据库没有影响。
迁移类型说明
结构迁移
- DTS将迁移对象的结构定义迁移到目标实例。
全量数据迁移
- DTS将源RDS实例迁移对象的存量数据,全部迁移到目标RDS实例中。
增量数据迁移
- DTS在全量迁移的基础上,将源RDS实例的增量更新数据同步到目标RDS实例中。通过增量数据迁移可以实现在自建应用不停服的情况下,平滑地完成数据迁移。
mysqldump工具
- 购买RDS实例;
- 利用mysqldump备份数据
- 利用mysqldump导出存储过程、触发器和函数
- 将数据导入至RDS
使用mysqldump工具的优点是简单易用、容易上手,缺点是停机时间较长,因此它适用于数据量不大,或者允许停机的时间较长的情况。
演示:通过DTS完成迁移
在实验中实操。
课时15:云数据RDS产品家族
云数据库
阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和SSD盘高性能存储,RDS支持MySQL、SQL Server、PostgreSQL、PPAS(Postgre Plus Advanced Server,高度兼容Oracle数据库)和MariaDB TX引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。
RDS SQL Server
RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。
RDS SQL Server支持的功能请参见SQL Server功能概览。
RDS PostgreSQL
RDS PostgreSQL是先进的开源数据库,它的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持,包括JSON数据、IP数据和几何数据等。除了完美支持事务、子查询、多版本控制(MVCC)、数据完整性检查等特性外,RDS PostgreSQL还集成了高可用和备份恢复等重要功能,减轻您的运维压力。
RDS PostgreSQL支持的功能请参见PostgreSQL功能概览。
RDS PPAS
RDS PPAS是稳定、安全且可扩展的企业级关系型数据库,基于全球最先进的开源数据库PostgreSQL,并在性能、应用方案和兼容性等方面进行了增强,提供直接运行Oracle应用的能力。您可以在PPAS上稳定地运行各种企业应用,同时得到更高性价比的服务。
RDS PPAS支持的功能请参见PPAS功能概览。
第4章 : 掌握云存储OSS
课时18:阿里云OSS产品概要
引子:物理存储时代的困扰
OSS介绍
对象存储服务(Object Storage Service,简称OSS)是一种海量、安全、低成本、高可靠的云存储服务,适合存放任意类型的文件。其数据设计持久性不低于99.9999999999%(12个9),服务可用性(或业务连续性)不低于99.995%。
OSS具有与平台无关的RESTful API接口,您可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。
您可以使用阿里云提供的API、SDK接口或者OSS迁移工具轻松地将海量数据移入或移出阿里云OSS。数据存储到阿里云OSS以后,您可以选择标准存储(Standard)作为移动应用、大型网站、图片分享或热点音视频的主要存储方式,也可以选择成本更低、存储期限更长的低频访问存储(Infrequent Access)、归档存储(Archive)作为不经常访问数据的存储方式。
优势
OSS具备的其他各项优势
- 方便、快捷的使用方式
- 提供标准的RESTful API接口、丰富的SDK包、客户端工具、控制台。您可以像使用文件一样方便地上传、下载、检索、管理用于Web网站或者移动应用的海量数据。
- 不限制存储空间大小。您可以根据所需存储量无限扩展存储空间,解决了传统硬件存储扩容问题。
- 支持流式写入和读出。特别适合视频等大文件的边写边读业务场景。
- 支持数据生命周期管理。您可以通过设置生命周期规则,将到期数据批量删除或者转储为更低成本的低频访问、归档存储。
- 强大、灵活的安全机制
- 灵活的鉴权,授权机制。提供STS和URL鉴权和授权机制、IP黑白名单、防盗链、主子账号等功能。
- 提供用户级别资源隔离机制和多集群同步机制(可选)。
- 数据冗余机制
OSS采用数据冗余存储机制,将每个对象的不同冗余存储在同一个区域内多个设施的多个设备上,确保硬件失效时的数据可靠性和可用性。- OSS Object操作具有强一致性,用户一旦收到了上传/复制成功的响应,则该上传的Object就已经立即可读,且数据已经冗余写入到多个设备中。
- OSS会通过计算网络流量包的校验和,验证数据包在客户端和服务端之间传输中是否出错,保证数据完整传输。
- OSS的冗余存储机制,可支持两个存储设施并发损坏时,仍维持数据不丢失。
- 当数据存入OSS后,OSS会检测和修复丢失的冗余,确保数据可靠性和可用性。
- OSS会周期性地通过校验等方式验证数据的完整性,及时发现因硬件失效等原因造成的数据损坏。当检测到数据有部分损坏或丢失时,OSS会利用冗余的数据,进行重建并修复损坏数据。
- 丰富、强大的增值服务
- 图片处理:支持JPG、PNG、BMP、GIF、WebP、TIFF等多种图片格式的转换,以及缩略图、剪裁、水印、缩放等多种操作。
- 音视频转码:提供高质量、高速并行的音视频转码能力,让您的音视频文件轻松应对各种终端设备。
- 互联网访问加速:OSS提供传输加速服务,支持上传、下载加速,可优化跨洋、跨省数据上传、下载体验。详情请参见传输加速。
- 内容加速分发:OSS作为源站,搭配CDN进行内容分发,提升同一个文件,被大量重复下载的体验。
课时19:阿里云OSS的相关概念
对象/文件(Object)
对象 OSS 存储数据的基本单元,也被称为 OSS 的文件。对象由元信息(Object Meta),用户数据(Data)和文件名(Key)组成。对象由存储空间内部唯一的 Key 来标识。对象元信息是一组键值对,表示了对象的一些属性,比如最后修改时间、大小等信息,同时用户也可以在元信息中存储一些自定义的信息。
- 文件大小限制:通过Put Object方式最大不能超过5GB,使用multipart上传方式Object大小不能超过48.8TB。
对象的生命周期是从上传成功到被删除为止。在整个生命周期内,只有通过追加上传的 Object 可以继续通过追加上传写入数据,其他上传方式上传的 Object 内容无法编辑,您可以通过重复上传同名的对象来覆盖之前的对象。
对象的命名规范如下:
- 使用 UTF-8 编码。
- 长度必须在 1–1023 字节之间。
- 不能以正斜线(/)或者反斜线(\)开头。
存储空间(Bucket)
存储空间是用户用于存储对象(Object)的容器,所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性,包括地域、访问权限、存储类型等。用户可以根据实际需求,创建不同类型的存储空间来存储不同的数据。
- 同一个存储空间的内部是扁平的,没有文件系统的目录等概念,所有的对象都直接隶属于其对应的存储空间。
- 每个用户可以拥有多个存储空间(最多10个)。
- 存储空间的名称在 OSS 范围内必须是全局唯一的,一旦创建之后无法修改名称。
- 存储空间内部的对象数目没有限制。
存储空间的命名规范如下:
- 只能包括小写字母、数字和短横线(-)。
- 必须以小写字母或者数字开头和结尾。
- 长度必须在 3–63 字节之间。
Service
提供给用户的虚拟存储空间,用户可以在这个存储空间中拥有一个或多个Bucket。
Access ID & Access Key(API密钥)
用于标识用户,为访问OSS做签名验证。
数据组织结构
OSS访问域名
举例:
Object外链地址构成规则
课时20:阿里云OSS的基本操作
Bucket操作
请参考本文前半部分的的:存储空间。
Object操作
请参考本文前半部分的的:对象。
课时21:阿里云OSS的API与SDK介绍
OSS API调用说明
OSS API接口列表
- Service操作
- GetService
- Object操作
- Copy Object
- Delete Object
- Delete Multiple Objects
- Get Object
- Head Object
- Put Object
- PostObject
- Bucket操作
- Delete Bucket
- Delete Bucket Logging
- Delete Bucket Website
- Get Bucket (List Objects)
- Get Bucket Acl
- Get Bucket Location
- Get Bucket Logging
- Get Bucket Website
- Put Bucket
- Put Bucket Acl
- Put Bucket Logging
- Put Bucket Website
- 跨域资源共享(CORS)操作
- Put Bucket CORS
- Get Bucket CORS
- Delete Bucket CORS
- Option Object
- OSS的错误响应
- OSS的错误响应格式
- OSS的错误码
- OSS不支持的操作
- OSS操作支持但参数不支持的操作
- Multipart Upload操作
- Initiate Multipart Upload
- Upload Part
- Upload Part Copy
- Complete Multipart Upload
- Abort Multipart Upload
- List Multipart Uploads
- List Parts
OSS API使用示例
OSS SDK支持的开发包
基于OSS SDK进行开发
基于OSS SDK的第三方工具
- OSSFTP
- OSSBrowser
课时22:阿里云OSS之静态网站托管
适用场景:网站静态内容存储在OSS Bucker中时。
静态网站托管