OpenStack
文章平均质量分 78
cywosp
这个作者很懒,什么都没留下…
展开
-
每天进步一点点——swift对象副本修复之简单理解
一直以来都在使用openstack的swift来做分布式存储,至于为什么使用其来做存储在这里就不说明(网上搜搜其的优点就知道了),随着项目的步步深入,越来越多的问题也随之而来。在项目进行的过程中对swift的理解也越来越多,swift的核心代码行并不是太多,而且也十分容易理解。下面通过实验来理解swift Object的副本修复功能(swift版本为1.9.1)。一. swift的原创 2013-10-18 11:26:26 · 13163 阅读 · 10 评论 -
每天进步一点点——Swift之操作系统性能优化
swift是基于RESTFul设计的分布式对象存储系统,其工作原理类似于一个web服务器。当上层大量的访问或者上传数据时其会产生大量的http链接,每一个链接都会消耗掉一个系统的端口(系统中默认最多有65536个端口,因此端口对操作系统来说是一个紧俏的稀缺资源),直到该链接断开且被系统回收后才能重复使用,如果所有端口都已被占用,那么新来的http链接就得等到有端口可以使用方能正常工作,这样原创 2014-03-05 09:58:45 · 3979 阅读 · 0 评论 -
每天进步一点点——Swift Proxy日志错误:ERROR WSGI: code 400, message Bad request syntax
有段时间发现swift的proxy日志莫名其妙的记录了以下错误:[2013-09-25 17:35:10,222] ERROR WSGI: code 400, message Bad request syntax ('\x00\x00\x00\x00\x00\x00\x00%\x00\x00\x00\x06user01\x00\x00\x00\x17nmon_x86_rhel2 - \原创 2014-02-24 13:44:37 · 14087 阅读 · 0 评论 -
每天进步一点点——Swift中HTTP返回码解析
转载请说明出处:http://blog.csdn.net/cywosp/article/details/20469261 在刚开始接触Swift的时候,为了能更好的完成项目开发,当时花了点时间简单总结了一下Swift返回码所对应的意思以及产生的原因。现在拿出来分享一下,希望对需要的有用。根据Swift官方文档所描述对外的值主要有:200,201,202原创 2014-03-04 16:28:46 · 6751 阅读 · 2 评论 -
每天进步一点点——/srv/node不存在导致object-updater和container-updater崩溃(Swift Bug)
未知的异常导致swift对应的服务进程奔溃,从另外的角度来说这种bug的存在又是合理且可以接受的。原创 2014-04-16 15:43:22 · 2339 阅读 · 0 评论 -
每天进步一点点——磁盘损坏导致container-sync服务退出(Swift Bug )
分布式集群中的swift服务状态监控让我们发现了一个swift的小Bug原创 2014-04-16 15:14:03 · 10304 阅读 · 2 评论 -
每天进步一点点——五分钟理解一致性哈希算法(consistent hashing)
五分钟让你深入了解分布式系统中常用的一致性哈希算法原创 2014-04-11 00:21:03 · 489116 阅读 · 131 评论 -
Swift开启StatsD后出现上传数据出现返回503的Bug
Openstack的Swift开启StatsD功能后出现上传数据返回503的Bug分析及解决办法原创 2014-11-04 11:12:39 · 4201 阅读 · 0 评论 -
点滴记录——使用Ganglia监控Openstack Swift状态
本文简单讲述如何使用Ganglia监控Openstack Swift的状态原创 2014-12-31 23:27:20 · 5383 阅读 · 0 评论 -
每天进步一点点——Swift项目实践
于2012年3月份开始接触OpenStack项目,刚开始之处主要是与同事合作共同部署公司内部的云平台,使得公司内部服务器能更好的得到资源利用。在部署的过程中遇到各种从未遇到过的问题,即使是按照官方文档一步一步的操作,由于某些硬件的不同,也会产生一些莫名其妙的问题,不是数据库因为配置不妥导致无法连接,就是swift的认证无法通过,再者就是上传虚拟机镜像时各种的不可用,申请虚拟机原创 2014-02-25 15:45:03 · 13529 阅读 · 1 评论 -
一致性哈希算法及其在分布式系统中的应用
摘要本文将会从实际应用场景出发,介绍一致性哈希算法(Consistent Hashing)及其在分布式系统中的应用。首先本文会描述一个在日常开发中经常会遇到的问题场景,借此介绍一致性哈希算法以及这个算法如何解决此问题;接下来会对这个算法进行相对详细的描述,并讨论一些如虚拟节点等与此算法应用相关的话题。分布式缓存问题假设我们有一个网站,最近发现随着流量增加,服务器压力越来越大转载 2013-12-05 09:47:36 · 1586 阅读 · 0 评论 -
OpenStack Swift eventual consistency analysis & bottlenecks
Swift is the software behind the OpenStack Object Storage service.This service provides a simple storage service for applications using RESTful interfaces, providing maximum data availability转载 2013-12-05 13:29:23 · 1629 阅读 · 0 评论 -
OpenStack详细解读:定义,好处与使用实例
OpenStack是一个旨在为公共及私有云的建设与管理提供软件的开源项目。它的社区拥有超过130家企业及1350位开发者,这些机构与个人都将OpenStack作为基础设施即服务(简称IaaS)资源的通用前端。OpenStack项目的首要任务是简化云的部署过程并为其带来良好的可扩展性。本文希望通过提供必要的指导信息,帮助大家利用OpenStack前端来设置及管理自己的公共云或私有云。内容详解转载 2012-03-22 08:46:31 · 3876 阅读 · 0 评论 -
使用Keystone认证多节点安装Swift
转载请写明出处:http://blog.csdn.net/cywosp/article/details/7439440注意:下面被标红色的地方由于博客编辑器的原因出现了多余的信息1. 摘要说明本文所涉及到的所有操作都是在Ubuntu Server 11.10 64位系统上通过验证。本文参考了Openstack keystone的相关文档,具体信息如下:Linux系统版本:Ub原创 2012-04-09 09:24:48 · 14416 阅读 · 7 评论 -
openstack swift各类 HTTP 返回状态代码详解
结合openstack swift的文档和代码,现在基本上理解了swift处理上传下载一个文件的流程。也想通了整个集群怎么扩容的问题,和错误处理(更换磁盘、机器的上架下架)。在上述所说的几种情况的大概流程是知道了,也知道了代码的结构。但对细节的处理还不是很明白。在代码中,有的很多对http返回状态的详解,之前只知道404,503,..。 还有就是代码里面的devices的parts_wan转载 2012-03-22 12:01:58 · 3141 阅读 · 0 评论 -
在一台机器上部署swift存储和swauth认证
在一台机器上部署swift存储和swauth认证转载请说明出处: http://blog.csdn.net/cywosp/article/details/74190821. 摘要说明本文所涉及到的所有操作都是在Ubuntu Server 11.10 64位系统上通过验证。本文参考了Openstackswift的SAIO(Swift All In One)文档,具体信息如原创 2012-04-01 14:05:42 · 12075 阅读 · 14 评论 -
openstack swift 基本概念
2基本概念2.1ring2.1.1ring是什么ring代表存储在硬盘上的实体(entity)名称和实际物理位置的映射。accounts,containers,objects都有各自的ring。当swift的其它组件(比如replication)需要对object,container或者account操作时,需要使用不同的ring去确定各自在集群上的位置。rin转载 2012-04-12 13:51:57 · 3313 阅读 · 0 评论 -
分布式存储技术及应用
根据did you know(http://didyouknow.org/)的数据,目前互联网上可访问的信息数量接近1秭= 1百万亿亿 (1024)。毫无疑问,各个大型网站也都存储着海量的数据,这些海量的数据如何有效存储,是每个大型网站的架构师必须要解决的问题。分布式存储技术就是为了解决这个问题而发展起来的技术,下面让将会详细介绍这个技术及应用。分布式存储概念与目前常见的集中式存储转载 2012-04-12 13:54:36 · 34781 阅读 · 0 评论 -
云存储的故事——元数据归来
元数据归来莫华枫云存储服务是云计算的重要组成部分。技术上,云存储属于大型分布式在线存储范畴。云存储是一大类特殊的共享存储。作为提供存储资源的服务,云存储需要保证用户存放的数据可靠,不丢失。同时,云存储必须确保实时在线,任何宕机都会给用户造成损失。因而,云存储的基本要求是高可靠和高可用。此外,云存储是海量数据的存储,规模巨大。而且,出于成本和现金流量的考虑,云存储的集群规模必须随着用转载 2012-06-13 21:47:46 · 1401 阅读 · 0 评论 -
使用Swauth认证多节点安装Swift
转载请写明出处:http://blog.csdn.net/cywosp/article/details/74287691. 摘要说明 本文所涉及到的所有操作都是在Ubuntu Server 11.10 64位系统上通过验证。本文参考了Openstackswift的Instructions for a Multiple Server SwiftInstallation (原创 2012-04-05 15:50:28 · 11470 阅读 · 2 评论 -
CAP原理与最终一致性
在足球比赛里,一个球员在一场比赛中进三个球,称之为帽子戏法(Hat-trick)。在分布式数据系统中,也有一个帽子原理(CAP Theorem),不过此帽子非彼帽子。CAP原理中,有三个要素:一致性(Consistency)可用性(Availability)分区容忍性(Partition tolerance)CAP原理指的是,这三个要素最多只能同时实现两点,不可能三者兼顾。因此在进转载 2013-09-02 11:05:26 · 1560 阅读 · 0 评论 -
点滴记录——CentOS 6.4中使用virtualenv安装swift
CentOS 6.4中使用virtualenv安装openstack swift,避免服务器中的其他python库与swift的依赖库相冲突原创 2014-12-25 18:24:53 · 5114 阅读 · 0 评论