阿里云——云存储:对象存储管理与安全

  • 作者简介:一名云计算网络运维人员、每天分享网络与运维的技术与干货。

  • 座右铭:低头赶路,敬事如仪

  • 个人主页: 网络豆的主页​​​​​

目录

一.传统存储介绍:

1.存储的发展历史

2.硬盘发展历史与趋势

3.SDD硬盘介绍

4.RAID技术产生的背景

5.RAID介绍

​二.主机访问存储模式

1.存储备份介绍

2. 存储灾备介绍

同城灾备中心:

异地备份中心:

两地三中心:

三.云存储OSS的介绍和使用场景

1.全球数据存储量的趋势

2.云存储分类

3.阿里云对象存储服务oss

4.OSS在阿里云平台体系架构中的位置

5.OSS与自建服务器存储对比

6.云存储OSS应用场景-网站/应用动静分离

7.云存储OSS应用场景-海量文件存储

8.云存储OSS应用场景-云端数据处理

9.云存储OSS应用场景-数据下载加速

四.云存储OSS基本概述

OSS基本概念

(1)Object

(2)Bucket

(3)Service

(4)Access ID & Access Key(API密钥)

4.OSS数据组织结构

5.页面控制台

6.云存储OSS的管理方式

​五.云存储OSS数据的上传下载

1.oss进行上传下载

2.通过阿里云控制台上传文件

3.通过API上传下载文件

六.图片处理与静态网站托管

1.云存储OSS图片处理

2.静态网站托管

七.云存储OSS安全

1.数据安全和可靠性

2.跨区域复制

3.跨区域复制步骤

4.安全控制:Bucket权限控制

5.云存储OSS防盗链

6.服务器端加密存储

7.服务器端加密支持的操作

8.支持的加密算法

9.安装控制


学习目标:

1.了解传统存储的基础知识和常见技术

2.熟悉云存储的应用场景以及云存储的基本功能概述

3.如何使用云存储进行数据的上传下载及相关管理功能

4.了解云存储的安全权限管控及数据安全


一.传统存储介绍:

1.存储的发展历史

2.硬盘发展历史与趋势

3.SDD硬盘介绍

SDD硬盘

泛指由控制单元和固态存储单元(DRAM或Flash芯片)组成的存储设备,目前支持SATA、FC、SAS接口。

相比机械硬盘,SSD优点如下:

数据存取速度快:在密集的I0读写和低延迟方面与传统硬盘对比性能优异;

故障率低:内部不存在任何机械部件,内部全部采用闪存芯片

绿色环保:工作时静音,发热量小,散热快

重量更轻:有利于移动设备的携带。


4.RAID技术产生的背景

5.RAID介绍

RAID(Redundant Array of Independent
Disks)即独立磁盘冗余阵列,从根本上说就是通过多块硬盘,以某种方式形成一定的数据冗余,这样当一块或多块硬盘损坏时,数据还能够依靠这样的冗余保存下来,不至于丢失。

二.主机访问存储模式

目前的网络存储技术有:

  1. 直连式存储(DAS:Direct Attached Storage)
  2. 网络存储设备(NAS:NetworkAttached Storage)
  3. 存储网络(SAN:Storage Area Network)


1.存储备份介绍

  1. 全备份
  2. 增量备份
  3. 全量备份

全备份:

是对数据的完全备份。

增量备份:

是对上次全备份或者增量备份后被修改了的文件做备份

优点是备份数据量小,需要的时间短;

缺点是恢复的时候需要多份备份数据,出问题的风险较大

全量备份:

是每次备份时都会所有文件进行备份;

优点是恢复速度相对较快,因为只需要最后一次全量备份;

缺点是每次备份需要的时间较长。


2. 存储灾备介绍

同城灾备中心:

生产中心和灾难备份中心距离比较近,比较容易的实现数据的同步镜像,可以保证数据完整性和数据零丢失。

可以防范火灾、建筑物破坏等可能遗遇的风险隐患,但对于战争、地震、水灾等隐患力不从心。

异地备份中心:

生产中心和备份中心跨城域,距离比较远。

通过异步镜像/复制备份数据无法保证数据零丢失。

如果远距离同步镜像,则交易效率太低、通信成本很高。

两地三中心:

结合“同城+异地”的优点。

在异地备份中心具有完整的灾难接管能力的情况下,建立同城备份站点,可使同城灾备中心具有应用接管能力。

也可以让同城灾备中心只是一个同步数据镜像站点。


三.云存储OSS的介绍和使用场景

1.全球数据存储量的趋势

地球上至今总共的数据量:

在2006年,个人用户才刚刚迈进Tb时代,全球一共新产生了约180EB的数据;

在2011年,这个数字达到了1.8ZB;

而有市场研究机构预测:

到2020年,整个世界的数据总量将会增长44倍,达到35.2ZB (1ZB=10(ZTB)

2.云存储分类

3.阿里云对象存储服务oss

对象存储服务(Object Storage Service,简称OSS)是一种面向互联网的分布式存储服务,

具有海量,安全,高性能,高可靠性,低成本的特点。

OSS非常适合用来存储大量不同大小,格式的非结构化数据,比如视频,图像,日志,文本文件等,单个数据的大小从1字节到48.8T,可以存储的文件个数无限,从而给互联网应用提供海量的存储能力。

4.OSS在阿里云平台体系架构中的位置

OSS是阿里云重要的组成部分,基于飞天核心平台构建,是阿里云向外提供的标准云计算存储服务

5.OSS与自建服务器存储对比

6.云存储OSS应用场景-网站/应用动静分离

开发者可以直接使用OSS,利用BGP带宽,实现超低延时的数据直接下载,也可以配合阿里云CDN加速服务为图片,音视频,移动应用更新分发,提供最佳体验等场景。

7.云存储OSS应用场景-海量文件存储

适用于图片,音视频,日志等海量文件的存储,支持各种终端设备,Web网站程序和移动应用直接向OSS写入或读取数据,支持流式写入和文件写入两种方式。

8.云存储OSS应用场景-云端数据处理

上传文件到OSS后,您可以配合媒体转码服务(MTS),图片处理服务(IMG),批量计算服务,离线数据处理服务(ODPS)充分挖掘您数据的价值,引领从IT到DT的变革。

9.云存储OSS应用场景-数据下载加速

既可以使用OSS,利用BGP带宽,实现超低延时的数据直接下载,也配合,也配合阿里云CDN加速服务,为图您的图片,音视频,移动应用更新分发,提供最佳体验等场景。


四.云存储OSS基本概述

  1. OSS基本概念

(1)Object
  1. 用户的每个文件都是一个Object
  2. 文件大小限制
  3. Put Object方式最大不能眼过5G8,使用multijpart上传
  4. 方式Object大小不船超过48.8T8
  5. Object国含key.datafDmeta data
(2)Bucket
  1. 每个Object必须都包 ducket中
  2. Bucket名在整个OSS中具有全局唯一性,且不能修改
  3. 同一同里云账号在同一地域内创建的存储空间总数不能超过100个Bucket
  4. 每个Bucket中存故的Object的数量没有限制,存张空间的容量不限制
  5. 一个应用可以对应一个或多个Bucket
(3)Service

提供给用户的虚拟存储空间,用户可以在这个存储空间中拥有一个或者多个Bucket

(4)Access ID & Access Key(API密钥)

·用户标识用户,为访问OSS做签名价证

4.OSS数据组织结构

5.页面控制台

6.云存储OSS的管理方式


五.云存储OSS数据的上传下载

1.oss进行上传下载


2.通过阿里云控制台上传文件

1.进入OSS管理控制台界面。

2.单击您要向其中上传文件的存储空间名称,打开该存储空间管理页面。

3.单击文件名,进入该存储空间内所有文件管理页面

4.单击上传文件,打开文件选择对话框。

5.选择要上传的文件,然后单击打开,文件上传成功,点击刷新按钮查看已上传的文件

1.进入OSS管理控制台界面。

2.单击目标文件所在的Bucket列表,打开文件管理页面。

3.单击文件名,打开文件管理页面。

4.单击目标文件对应的详情获取地址链接,会弹出对话框提供访问该文件的URL地址。


3.通过API上传下载文件

上传文件

用户使用OSS API中的Put Object方法上传单个Object

下载文件

下载已经上传的文件(Object),Object下载是使用HTTP的GET请求来完成的,Get Object

用于获取某个Object,此操作要求用户对该Object有读权限。

通过SDk上传下载文件


六.图片处理与静态网站托管

1.云存储OSS图片处理

2.静态网站托管

1.用户可以通过OSS控制台-“Bucket列表”-“选择指定Bucket”-“基础设置”-“静态页面”将自己的bucket配置成静态网站托管模式

2.访问城名为:http://<自定义城名>/,如:http://cloudstorage.aliyunihao.net/

3.托管的静态网站支持如下功能:


a)默认首页

(Index Document Support)

a)默认404页

(Error Document Support


七.云存储OSS安全

1.数据安全和可靠性


2.跨区域复制
  1. 面向企业的云存储灾备解决方案
  2. 跨区域数据复制
  3. 数据更新实时发起同步
  4. 实现数据的异地容灾
  5. 保障业务在极端环境下连续性
  6. 支持双向同步,区域多活
  7. 数据就近上传


3.跨区域复制步骤

第一步:云存储OSS控制台-》Bucket列表-》选择对应Bucket-》概览-》跨区复制

第二步:设置同步目标的地域,Bucket,数据同步对象等属性

4.安全控制:Bucket权限控制

OSS提供Bucket级别的权限访问控制

Public-read-write

任何人都可以对该Bucket中的Object进行PUT,Get和Delete操作

Public-read

Bucket的创建者可以对该Bucket内的Object进行写操作(包括PUT和Delete Object)

任何人(包括图名访问)可以对该Bucket中的Object进行读操作(Get Object)

Private

只有该Bucket的创建者可以对该Bucket内的Object进行读写操作(包括PUT和Get Object)

其他人无法访问该Bucket内的Object

创建Bucket时默认为private权限。可以通过OSS的Put Bucket ACL接口修改该Bucket的权限


5.云存储OSS防盗链

OSS是按使用收费的服务,为了防止用户在OSS上的数据被其他人盗链,OSS支持基于HTTPheader中表头字段referer的防盗链方法。

目前,只有通过OSS的控制台可以对一个bucket设置 referer.字段的白名单和是否允许referer字段为空的请求访问。

对于一个名为oss-
example的bucket,设置,其referer白名单为http://www.aliyun.com则所有referer为http://www.aliyun.com的请求才能访问oss-
example这个bucket中的Object


6.服务器端加密存储

1.OSS支持在服务器端对用户上传的数据进行加密编码

2.文件上传时指定x-oss-server-side-encryption=AES2563.

3.对加密编码的文件,访问方式与非加密文件一样


-文件上传时,OSS对用户数据进行加密编码,并保存

-文件下戴时,OSS自动对文件进行解密,并在返回的HTTP request中声明

此文件使用了服务器端加密


7.服务器端加密支持的操作

Content-Length : ContentLength

- Put Object

- Copy Object

- Initiate Multipart Upload


8.支持的加密算法

AES256


9.安装控制


创作不易,求关注,点赞,收藏,谢谢~

接下来我将给各位同学划分一张学习计划表!

学习计划

那么问题又来了,作为萌新小白,我应该先学什么,再学什么?
既然你都问的这么直白了,我就告诉你,零基础应该从什么开始学起:

阶段一:初级网络安全工程师

接下来我将给大家安排一个为期1个月的网络安全初级计划,当你学完后,你基本可以从事一份网络安全相关的工作,比如渗透测试、Web渗透、安全服务、安全分析等岗位;其中,如果你等保模块学的好,还可以从事等保工程师。

综合薪资区间6k~15k

1、网络安全理论知识(2天)
①了解行业相关背景,前景,确定发展方向。
②学习网络安全相关法律法规。
③网络安全运营的概念。
④等保简介、等保规定、流程和规范。(非常重要)

2、渗透测试基础(1周)
①渗透测试的流程、分类、标准
②信息收集技术:主动/被动信息搜集、Nmap工具、Google Hacking
③漏洞扫描、漏洞利用、原理,利用方法、工具(MSF)、绕过IDS和反病毒侦察
④主机攻防演练:MS17-010、MS08-067、MS10-046、MS12-20等

3、操作系统基础(1周)
①Windows系统常见功能和命令
②Kali Linux系统常见功能和命令
③操作系统安全(系统入侵排查/系统加固基础)

4、计算机网络基础(1周)
①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析(HTTP、TCP/IP、ARP等)
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御:主动/被动攻击、DDOS攻击、CVE漏洞复现

5、数据库基础操作(2天)
①数据库基础
②SQL语言基础
③数据库安全加固

6、Web渗透(1周)
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具:Nmap、BurpSuite、SQLMap、其他(菜刀、漏扫等)

那么,到此为止,已经耗时1个月左右。你已经成功成为了一名“脚本小子”。那么你还想接着往下探索吗?

阶段二:中级or高级网络安全工程师(看自己能力)

综合薪资区间15k~30k

7、脚本编程学习(4周)
在网络安全领域。是否具备编程能力是“脚本小子”和真正网络安全工程师的本质区别。在实际的渗透测试过程中,面对复杂多变的网络环境,当常用工具不能满足实际需求的时候,往往需要对现有工具进行扩展,或者编写符合我们要求的工具、自动化脚本,这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中,想要高效地使用自制的脚本工具来实现各种目的,更是需要拥有编程能力。

零基础入门的同学,我建议选择脚本语言Python/PHP/Go/Java中的一种,对常用库进行编程学习
搭建开发环境和选择IDE,PHP环境推荐Wamp和XAMPP,IDE强烈推荐Sublime;

Python编程学习,学习内容包含:语法、正则、文件、 网络、多线程等常用库,推荐《Python核心编程》,没必要看完

用Python编写漏洞的exp,然后写一个简单的网络爬虫

PHP基本语法学习并书写一个简单的博客系统

熟悉MVC架构,并试着学习一个PHP框架或者Python框架 (可选)

了解Bootstrap的布局或者CSS。

阶段三:顶级网络安全工程师

如果你对网络安全入门感兴趣,那么你需要的话可以点击这里👉网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

学习资料分享

当然,只给予计划不给予学习资料的行为无异于耍流氓,这里给大家整理了一份【282G】的网络安全工程师从入门到精通的学习资料包,可点击下方二维码链接领取哦。

  • 16
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值