![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
对象存储
文章平均质量分 86
对象存储原理及实践
Shi Peng
这个作者很懒,什么都没留下…
展开
-
VOS学习笔记
一、VOS简介1、主要功能VOS主要用于帮助客户端上传对象到云存储(阿里的OSS及腾讯的云存储COS,阿里作为主,腾讯作为backup)。2、产品优势相比于用户自己直接上传到OSS或腾讯COS,VOS不仅提供了上传所需的SDK,还支持双机房双活,即在单机房故障时,支持自动域名切换来做双机房双活。3、双机房架构图在上传前,客户端APP调用其业务自己的后端服务,后端服务经由VKOS提供的...原创 2020-03-14 22:39:51 · 2027 阅读 · 0 评论 -
S3 学习笔记
一、S3概述1.1、简介S3是Standard Storage Service的简称,即标准存储服务。即分布式的、存储容量可无限扩容的、保证数据不丢失的、安全的、低成本的存储解决方案。S3旨在为公有云用户解决下面的存储痛点:1、存储可无限扩容:用户自建存储集群节点扩容时数据迁移成本高。单个bucket存储容量无限制,单个文件最大50TB限制。2、安全:保证只被授权用户访问(问题:CDN访问时怎样做授权校验?)3、数据可靠不丢失:通过冗余备份+EC纠删码的方式,保证11个9的不丢失保证。4、成本原创 2021-07-31 09:15:44 · 2886 阅读 · 0 评论 -
FastDFS学习笔记
一、FastDFS介绍FastDFS是以C语言开发的开源的轻量级分布式文件系统,可对文件进行管理,主要功能有:文件存储、文件同步、文件上传与下载、特别适合以文件为载体的在线服务,如图片网站、视频网站等。1.1、什么是分布式文件系统1、基于客户端/服务器的文件存储系统2、对等特性:允许一些系统扮演客户端和服务器的双重角色,可供多个用户访问的服务器,如用户可以“发表”一个允许其他客户机访问的目录,一旦被访问,这个目录对客户机来说,就像使用本地驱动器一样。1.2、FastDFS的构成FastDFS由跟原创 2020-06-04 17:35:58 · 178 阅读 · 0 评论 -
MinIO源码学习笔记
一、MinIOn对外提供http接口的入口点调用路径为/cmd下server-main.go -> routers.go -> api-router.go/cmd/api-router.go的registerAPIRouter函数,注册了所有兼容S3的API。原创 2020-11-18 11:06:33 · 2911 阅读 · 0 评论 -
MinIO调研
一、简介MinIO是为了高性能和亚马逊S3 API而设计的。MinIO非常适合对安全要求严格的大型私有云环境,在各工作负载下可保证高可用。1.1、MinIO是高性能对象存储的先驱MinIO是世界上速度最快的对象存储服务器。在标准硬件上,对象存储的读/写速度分别为183 GB/s和171 GB/s,可以作为一组不同工作负载的主存储层,这些工作负载包括Spark、Presto、TensorFlow、H2O.ai以及Hadoop HDFS的替代品。1.2、基于web scale的原则MinIO利用了W原创 2020-06-03 15:33:18 · 6482 阅读 · 0 评论 -
TFS学习笔记
一、简介TFS(Taobao File System)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统。主要针对海量的非结构化数据。它构建在Linux机器集群上,可为外部提供高可靠、高并发的存储访问。TFS为淘宝提供了海量小文件存储,通常文件大小不超过1M,满足了淘宝对小文件存储的需求。1、TFS采用了HA架构:有一个活动节点和备份节点,当活动节点挂了,备份节点会检测到,并顶上。2、平滑扩容二、TFS总体结构一个TFS集群由两个NameServer节点(一主一备),和多个DataS原创 2020-06-04 18:26:55 · 786 阅读 · 0 评论 -
MinIO学习笔记
探探的实践:https://mp.weixin.qq.com/s?__biz=MzA4ODg0NDkzOA==&mid=2247487119&idx=1&sn=6e09abb32392e015911be3a1d7f066e5&source=41#wechat_redirect一、竞品调研当前的一些开源方案,这些存储方案里面可以分为两种:一种是可以自定对象名称的;另外一种是系统自动生成对象名称。我们的对象名是自己生成的,里面包含了业务逻辑。1、像 FS 就是国原创 2020-06-30 14:53:35 · 30946 阅读 · 6 评论 -
块存储、文件存储、对象存储的区别
一、块存储典型设备:磁盘阵列、硬盘块存储主要是将裸磁盘空间整个映射给主机使用。举例说明:磁盘阵列里有5块硬盘,然后可以通过划逻辑盘、做Raid(Redundant Arrays of Independent Disks,RAID,有“独立磁盘构成的具有冗余能力的阵列”之意)、LVM(Logical Volume Manager,逻辑卷管理)等方式逻辑划分出N个逻辑的硬盘。逻辑盘和物理盘是不同的概念,假设每个硬盘100G,共5个硬盘,划分为逻辑盘也有5个,每个100G,但这5个逻辑盘和原来的5个物理盘原创 2020-06-04 16:15:48 · 609 阅读 · 2 评论