![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
对象存储
伢之国
云存储深耕之路,专注于对象存储,块存储,云计算等技术。坚持撰写有思考的技术文章。微信公众号:奇伢云存储。个人站点:https://liqingqiya.github.io。
展开
-
对象存储 ListObject 有啥值得思考的?
文章目录如何列举桶中对象怎么列举对象?请求参数响应格式“列举对象”是否真的很简单?ListObject 的思考总结如何列举桶中对象云存储服务对业务提供基础的数据上传、下载能力,以简单易用作为重点,但有些时候,我们有列举需求。列举是什么意思?比如我们往一个 bucket 里面上传了一些对象,但是我们不知道名字,那么只能让存储系统来告诉你,这个 bucket 里对象的列表。“列举”这是一个简单的需求,但是也有隐形的约束或者前提需要明确。对象存储一把应对的场景是海量对象(上亿级甚至更多),这种前提下,提供的列原创 2020-11-09 23:30:23 · 1586 阅读 · 0 评论 -
Minio 为什么没有 POST 接口?
文章目录Minio 为什么没有 POST 上传接口?S3 上传协议为什么需要 Content-length ?没有 size ,怎么存储数据?公有云关于这里的隐藏知识点总结Minio 为什么没有 POST 上传接口?Minio 是著名的开源的 S3 存储项目,实现了完整的 S3 协议。仔细看了下实现,会发现 Minio 没有实现 PostObject 的接口?为什么?Minio 实现的完整对象 S3 接口如下:// Object operations// HeadObjectbucket.Met原创 2020-11-09 23:23:01 · 1955 阅读 · 0 评论 -
对象存储和 CDN 实现分析揭秘
文章目录1、使用姿势2、cdn 回源使用方案2.1、presign2.2、授权方案2.3、公共读方案3、方案对比分享对象存储和 CDN 联动的话题,一般来讲,公有云厂商提供对象存储的服务之外,还会附带一些增值服务,这些服务是适配不同的应用场景的。什么意思?对象存储本质上解决了海量存储的问题,但是数据不仅要可靠的存储,大部分情况还要处理才会有价值,所以一般公有云厂商还会有数据处理的服务,比如图像处理,类似缩略图,音视频转码,视屏截帧。其次,数据访问,也有特殊需求,比如一次上传,多次下载的场景,就配合使用 C原创 2020-11-09 23:10:07 · 912 阅读 · 0 评论 -
http 请求怎么确定边界?
文章目录S3 上传有两种 method 方式HTTP 数据怎么确定边界?分四种情况讨论截图示例Chunked的包Content-Length的包S3 上传有两种 method 方式PUT 请求:这个上传请求上传对象协议明确携带 Content-length 的;POST 请求:这个不要求知名 Content-length,而是通过一种流式的数据传输,但是总归还是要知道边界在哪里?有以下几种...原创 2020-04-21 23:48:09 · 1331 阅读 · 0 评论 -
找对象那么难?python s3cmd 帮你解决
文章目录安装配置使用常用方法创建桶列举桶上传对象下载对象列举对象Python 代码封装调试pdb 调试s3cmd --debugs3cmd 是一个 python 实现的知名的 s3 客户端工具,能非常方便和人性化的手段让你使用 s3 对象存储。官网链接:https://s3tools.org/s3cmdgithub链接:https://github.com/s3tools/s3cmd安装...原创 2020-04-21 23:38:32 · 408 阅读 · 0 评论 -
Golang 语法到底是怎么回事?gdb调一调?
“ 上一篇用gdb分析了golang的数据结构,这一期分析golang的语法。”Golang语法到底是怎么回事?golang关键字编译之后是什么样子,会展开成什么样。rangerange其实展开本质上和普通的for循环展开是一样的。只不过边界条件的判断稍微有点不一样。for 初始化; 判断条件; 递进 {}只不过编译器帮你来做了判断条件和递进(旁白:还是那句话,Golang那么高级...原创 2020-04-12 13:45:33 · 195 阅读 · 1 评论 -
Golang 数据结构到底是怎么回事?gdb调一调?
“ 不仅限于语法,使用gdb,dlv工具更深层的剖析golang的数据结构”Golang数据结构变量:有意义的一个数据块。变量名:一个有意义的数据块的名字。为什么特意会有这个章节?golang本质是全局按照值传递的,也就是copy值,那么你必须知道你的内存对象是包含哪些内容,才能清楚掌握你在copy值的时候复制了哪些东西,这个很重要,第一部分的正文内容从这里开始。具体如下类型:num...原创 2020-04-12 13:35:42 · 260 阅读 · 0 评论 -
对象存储5个好用S3客户端,推荐给你
有5个非常简单好用 S3 客户端工具,可以方便接入对象存储,让你昂你领成本的上手对象存储,还能够抓一抓 S3 协议的包。s3curls3curl 是命令行工具,开源免费使用,非常轻量,也是我平时用的最多的一个工具。s3curl 是 perl 写的逻辑脚本, 本质上,就是帮你构造一个合法的 S3 请求,通过 curl 工具发出去。所以你能做到非常基础的行为,了解到 S3 请求的本质。安装在u...原创 2020-04-12 13:15:01 · 20301 阅读 · 1 评论 -
Golang 协程Goroutine到底是怎么回事?(二)
上一篇从协程的通用原理讲起,讲了通Golang的协程,使用一个完成的协程,必须要配合完善的配套设备,协程锁,定时器等,这篇文章就是描述于此。Go 协程配套设备Golang 协程锁,定时器,是怎么回事?系统调用又有什么特殊,G-M锁定是什么?协程锁之前提到,协程使用之后,是必须配套实现一些配件的。关键就是要保证在执行goroutine的时候不阻塞。最典型的的就是锁、timer、系统...原创 2020-04-11 09:46:37 · 185 阅读 · 0 评论 -
聊聊什么是对象存储?
从来没接触过对象存储的可能有点蒙,对象存储是啥,使用场景是啥,还有没有文件系统POSIX哪些接口?公有云厂商对对象存储的定义AWS S3Amazon Simple Storage Service (Amazon S3) 是一种对象存储服务,提供行业领先的可扩展性、数据可用性、安全性和性能。这意味着各种规模和行业的客户都可以使用它来存储和保护各种用例(如网站、移动应用程序、备份和还原、存档、...原创 2020-04-11 09:43:42 · 2887 阅读 · 0 评论 -
一文读懂 对象存储S3访问姿势
S3支持三种资源访问方式:Path Style URLVirtual-hosted Style URL自定义域名本质上,对象存储使用bucket,key来唯一标识一个对象,所以只要你告诉对象存储服务端这两个东西,那么理论上就能定位到这个数据。以上三种方式,总归都是为了获取到(bucket,object_key)。Path Style URL在Path Style URL中,buc...原创 2020-04-11 09:42:02 · 8540 阅读 · 0 评论