[置顶] 【整理】Python编码规范指导

Guido的关键点之一是:代码更多是用来读而不是写。本指南旨在改善Python代码的可读性,即PEP 20所说的“可读性计数"(Readabilitycounts)。 风格指南强调一致性。项目、模块或函数保持一致都很重要。 、...
阅读(117) 评论(0)

[置顶] NIS - 深入了解如何搭建NIS环境

NIS( Network Information Service)提供了一个网络黄页的功能,当用户登录系统时,Linux系统会到NIS主机上去寻找用户使用的帐号密码信息加以比对,以提供用户登录检验。同时NIS服务器还可以提供其他多种信息。...
阅读(4012) 评论(3)

[置顶] [CEPH实践]基于CentOS7部署Ceph集群(版本10.2.2)

1 简单介绍 Ceph的部署模式下主要包含以下几个类型的节点 Ø Ceph OSDs: A Ceph OSD 进程主要用来存储数据,处理数据的replication,恢复,填充,调整资源组合以及通过检查其他OSD进程的心跳信息提供一些监控信息给Ceph Monitors . 当Ceph Storage Cluster 要准备2份数据备份时,要求至少有2个Ceph OSD进程的状态是active...
阅读(6313) 评论(0)

[Ceph实践] Scrub调优

除了使用对象多副本,Ceph还通过Scrub 归置组(PG)来保证数据的完整性。在对象存储层,Ceph Scrub类似于fsck。针对每一个归置组(PG),OSD比较主副本和从副本,确保没有对象丢失和错误,捕获 OSD 缺陷和文件系统错误。OSD也能执行Deep Scrub:一般一周一次,通过读取数据和使用校验码来保证数据完整性,可以捕捉那些在轻度清洗过程中未能发现的磁盘上的坏扇区。。...
阅读(109) 评论(0)

[Ceph分析]数据一致性检查 - Scrub的执行

[Ceph分析]数据一致性检查 - Scrub的调度...
阅读(36) 评论(0)

[Ceph分析]数据一致性检查 - Scrub的调度

1.1   Scrub的调度解决一个PG何时启动Scrub扫描机制。主要有以下方式:1. 手动立即启动执行扫描2. 在后台设置一定的时间间隔,按照时间间隔的时间启动。默认时间为一天执行一次。3. 设置启动的时间段。一般设定一个系统负载较轻的时间段。 数据结构在类OSDService里有与Scrub有关的数据结构(文件src\osd\OSD.h)private:  // -- scrub sched...
阅读(288) 评论(0)

[Ceph分析]数据一致性检查 - Scrub的介绍

Ceph实现了Scrub机制,采用一种通过后台扫描的方案来解决ceph数据一致性的问题。...
阅读(317) 评论(0)

[Ceph分析]数据一致性检查 - 端到端的数据校验

何谓端到端的数据校验?是指应用层在写入数据时,在经过每个数据模块时,都计算并增加一个校验和信息,并将这些校验和信息和数据块一起发送至磁盘。磁盘在接收到数据包之后,会重新校验信息,并和接收到的校验信息做对比。如果不一致,就认为在IO路径上发生了错误。同样在数据读取时,应用层在获取数据块和从磁盘读取到校验信息后,也需要再次校验一致性...
阅读(303) 评论(0)

[Ceph分析]通用模块--线程池

对于计算密集型的业务通常使用线程池进行多线程并发处理,线程池在一定程度上可以有效的提高CPU的利用率,降低无用消耗。Ceph中实现了两种类型的线程池类(本质相同),并实现消息队列处理类。其中线程池类负责具体线程创建,维护和销毁。消息队列处理类则负责队列的管理,包括入队,出队等,消息队列类为一个模板类,保证其处理数据类型的通用性。...
阅读(122) 评论(0)

[Ceph分析]Ceph整体架构

Ceph是基于RADOS无限扩展的分布式存储集群,提供同时包括对象、块设备、和文件的存储服务,拥有高可靠、易于管理、开源等特点。Ceph有着极易扩展的特性——上千数量的客户端可同时访问PB~EB数量级的数据。...
阅读(116) 评论(0)

如何搭建一套有价值的团队知识管理体系?

现代管理学之父彼得·德鲁克说:“21世纪的组织,最有价值的资产是组织内部的知识工作者和他们的生产力。”团队知识管理的重要性正在被越来越多的企业和组织重视,戴尔、惠普、毕马威等众多知名公司早已搭建一套完善的团队知识管理体系。然而国内大部分公司在这方面还处于早期探索阶段。互联网团队属于重协作类型。对重协作型的团队而言,知识管理更是极为重要。然而很多团队在搭建团队知识管理体系过程中遇到了很多问题。那么,...
阅读(75) 评论(0)

[Ceph分析]Fuse流程分析

本文是对FUSE-2.9.2源码的学习总结。FUSE代码在用户空间和内核空间都有运行,为了突出重点,先简要描述了在基于FUSE的用户空间文件系统中执行write操作的一般流程...
阅读(129) 评论(0)

[Ceph分析]源码目录结构分析

来源http://blog.csdn.net/scaleqiao/article/details/511655751  简介该代码架构基于版本10.0.5整理,先整理根目录里的代码,再整理出src目录的架构。 2  代码结构 2.1   根目录Ceph的根目录下包含了一些文件夹和若干编译、代码格式相关的文件。[admin]:架设Document服务器,包括依赖内容并介绍修改doc的流程。[bin]...
阅读(154) 评论(0)

时间同步配置

三个节点node0, node1 node2;节点node0作为时间服务器,node1与node2实现与节点node0的时间同步...
阅读(452) 评论(0)

[Ceph实践]使用本地源搭建ceph集群

1  需求使用本地源搭建ceph集群规划参加《[CEPH]基于CentOS7部署Ceph集群(版本10.2.2)》2  方案2.1   配置ceph本地源配置文件[root@node0cluster]# cat /etc/yum.repos.d/ceph.repo [Ceph-local] name=Cephlocal packages baseurl=file:///opt/repos/ce...
阅读(284) 评论(0)

[Ceph实践]RGW+Ganesha NFS调研

目前,Ganesha支持两种方式将Ceph导出为NFS,一种是基于CephFS——Ganesha通过FSAL-CEPH模块连接到CephFS,另一种是基于RGW——Ganesha通过FSAL-RGW模块连接到RGW。        其中,FSAL_RGW 调用 librgw2 将 NFS 协议转义为 S3 协议再通过 RGW 存入到 Ceph 中,FSAL_CEPH 调用 libcephfs1 将...
阅读(525) 评论(0)

Ganesha详解

NFS-Ganesha是一个用户空间NFS文件服务器,支持NFSv3、NFSv4.0、NFSv4.1和pNFS等协议,还有Plan9操作系统的9p.2000L协议。 NFS-Ganesha通过FSAL(File System Abstraction Layer)同时支持多种文件系统,也可以同时多种协议 NFS-GANESHA支持运行的平台包括Linux,BSD variants和POSIX-compliant Unixes。...
阅读(334) 评论(0)

[Ceph实践]cephfs + Ganesha调研

NFS-Ganesha是一个用户空间NFS文件服务器,支持NFSv3、NFSv4.0、NFSv4.1和pNFS等协议,还有Plan9操作系统的9p.2000L协议。...
阅读(363) 评论(0)

[Ceph实践]创建RGW

Ceph RGW基于librados,是为应用提供RESTful类型的对象存储接口。RGW提供两种类型的接口: 1) S3:兼容AmazonS3RESTful API; 2) Swift:兼容OpenStackSwift API。 S3和Swift API共享同一个命名空间,所以可以使用两种API访问相同的数据。环境规划 如上篇文章《[CEPH]基于CentOS7部署Ceph集群(版本10.2.2...
阅读(351) 评论(0)

[Ceph分析]RGW基本原理

Ceph提供了三种存储类型:块存储、文件存储和对象存储,本文主要介绍对象存储的RGW基本原理和应用场景。1 什么是分布式存储对象存储(云存储)是面向对象/文件的、海量的互联网存储。对象存储里的对象是经过封装了的文件,在对象存储系统里, 不能直接打开/修改文件,但可以像ftp一样上传文件,下载文件等。 另外,对象存储没有像文件系统那样有一个很多层级的文件结构,而是只有一个“桶”的概念(也就是存储空间...
阅读(395) 评论(0)

[CEPH分析]Ceph:一个可扩展,高性能分布式文件系统

Ceph,一个分布式文件系统,它提供了优秀的性能、可靠性和可伸缩性。Ceph通过用一个伪随机数据分布函数(CRUSH)替代分布表来最大化的分离数据与元数据管理,这个算法用于异构和动态不可靠的对象存储设备(OSD)集群。我们利用设备上半自治的OSD智能分布数据副本,故障检测和恢复,这些OSD运行专门的本地对象文件系统。动态分布元数据集群提供了非常有效的元数据管理并无缝地适应各类文件系统的工作负载。多种工作负载下测试显示, Ceph具有良好的I / O性能和可扩展的元数据管理,支持超过每秒250000次元数据操...
阅读(174) 评论(0)

【整理】Python 单元测试框架 - PyUnit

1 概况Python单元测试框架(The Python unit testing framework),简称为PyUnit, 是Kent Beck和Erich Gamma这两位聪明的家伙所设计JUnit 的Python版本。 而JUnit又是Kent设计的Smalltalk测试框架的Java版本。它们都是各自语言的标准测试框架。此文档仅阐述针对Python的单元测试PyUnit的设计与使用。如需单元...
阅读(173) 评论(0)
334条 共17页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:425814次
    • 积分:6765
    • 等级:
    • 排名:千里之外
    • 原创:256篇
    • 转载:68篇
    • 译文:10篇
    • 评论:65条
    博客专栏
    最新评论