- 博客(26)
- 资源 (14)
- 收藏
- 关注
RSS订阅
原创 ceph系统原理 细节 benchmark 不完全说明
ceph系统原理 细节 说明1 流程说明1.1 应用1) RADOS GW是一个提供与Amazon S3和Swift兼容的RESTful API的gateway，以供相应的对象存储应用开发使用。RADOS GW提供的API抽象层次更高，但功能则不如librados强大。因此，开发者应针对自己的需求选择使用. 2) RBD则提供了一个标准的块设备接口，常用于在虚拟化的场景下为虚拟机创建vo
2016-05-22 10:31:23
20109
4
转载 windows 获得系统信息 GetSystemInfo
#include <windows.h>#include <stdio.h>#pragma comment(lib, "user32.lib")void main(){ SYSTEM_INFO siSysInfo; // Copy the hardware information to the SYSTEM_INFO structure. GetSystemInfo(&siSy
2016-05-31 17:30:05
1128
转载 Dynamo 译文 Dynamo: Amazon's Highly Available Key-value Store
Dynamo: Amazon’s Highly Available Key-value StoreDynamo：Amazon的高可用性的键-值存储系统摘要巨大规模系统的可靠性是我们在Amazon.com，这个世界上最大的电子商务公司之一，面对最大的挑战之一，即使最轻微的系统中断都有显着的经济后果并且影响到客户的信赖。Amazon.com平台，它为全球许多网站服务，是实现在位于世界各地的许多数据中心中
2016-05-29 13:07:45
4745
3
转载 Ceph剖析：数据分布之CRUSH算法与一致性Hash
Ceph剖析：数据分布之CRUSH算法与一致性Hash 作者：吴香伟 发表于 2014/09/05 版权声明：可以任意转载，转载时务必以超链接形式标明文章原始出处和作者信息以及版权声明 http://www.cnblogs.com/shanno/p/3958298.html数据分布是分布式存储系统的一个重要部分，数据分布算法至少要考虑以下三个因素：故障域隔离。同份数据的不同副本分
2016-05-29 10:46:36
2314
转载 CRUSH详解
CRUSH详解CRUSH简介CRUSH全称Controlled Replication Under Scalable Hashing，是一种数据分发算法，类似于哈希和一致性哈希。哈希的问题在于数据增长时不能动态加Bucket，一致性哈希的问题在于加Bucket时数据迁移量比较大，其他数据分发算法依赖中心的Metadata服务器来存储元数据效率较低，CRUSH则是通过计算、接受多维参数的来解决动态数据
2016-05-28 20:45:18
8077
转载 翻译 CRUSH: Controlled, Scalable,Decentralized Placement of Replicated Data
CRUSH: Controlled, Scalable,Decentralized Placement of Replicated DataCEPH 的 CRUSH 算法原理概要新兴的的大规模分布式存储系统面临着在数十甚至是数百数千的存储设备之间分发PB这个数量级别数据的艰巨任务. 这样的系统必须能够均匀的分配数据和工作负载，以获取对可用资源的高效使用，和系统性能的最大化, 同时要便于系统的扩展以及
2016-05-28 20:41:05
1772
转载 ceph翻译 Ceph: A Scalable, High-Performance Distributed File System
Ceph: A Scalable, High-Performance Distributed File System Ceph：一个可扩展，高性能分布式文件系统 Sage A. Weil Scott A. Brandt Ethan L. Miller Darrell D. E. Long Carlos Maltzahn 摘要 我们开发Ceph,一个分布式文件系统,它提供了优秀的性能、可靠性
2016-05-28 20:15:01
2138
翻译 ceph 译文 RADOS:A Scalable, Reliable Storage Service for Petabyte-scale Storage Clusters
RADOS:A Scalable, Reliable Storage Service for Petabyte-scale Storage Clusters摘要块式和面向对象的存储架构形成了一种以提升扩展性的存储cluster。然而，现存的系统继续把存储节点作为一个被动的设备，尽管他们有能力展示智能和自治。我们提出RADOS的设计和实现，RADOS是一个可靠的面向对象服务，通过利用每个独立节点的智能
2016-05-28 19:55:24
8907
转载 理解Ceph的存储设计
转载: 理解Ceph的存储设计 http://www.fireflies.me/tag/rados/ceph在大部分中心化存储系统中（如GFS）中，通常有一个中心节点管理整个系统元数据的更新、协调节点之间的数据复制，检测并处理节点故障以及后续的数据迁移工作。Ceph认为将所有的管理工作全部交一个节点不利于整个系统的扩展：1）单个节点存储、计算以及网络传输能力有限，容易成为性能瓶颈；2）中
2016-05-28 13:33:11
2083
原创 ceph 日志01
1. 对象存储问：我可以存储多少数据？您可以存储的总数据容量和对象个数不受限制。各个 Amazon S3 对象的大小范围可以从最小 0 字节到最大 5 TB。可在单个 PUT 中上传的最大数据元为 5 GB。对于大于 100 MB 的数据元，客户应该考虑使用分段上传功能。理解这个问题，事实上有助于理解RADOS的本质，因此有必要在此加以分析。粗看起来，librados和RADOS GW的区别在于，l
2016-05-27 15:58:39
10808
转载 解析Ceph: 恢复与数据一致性
作为一个面向大规模的分布式存储系统，故障处理是作为一个常态异常处理。Ceph 为了细化和保证故障发生和故障恢复的集群高可用性和一致性，在设计上将故障分为两类:临时性故障: 主机升级维护，重启，掉电等等在一定时间内可以重新上线 OSD 的故障 永久性故障: 作为强一致存储系统，状态只跟存储在持久设备的数据有关，因此这类故障主要就是盘损坏或者主机损坏并无法及时转移盘到另外主机。换句话说救是一定时间内无
2016-05-23 21:49:42
5001
转载 ceph openstack联系
The OpenStack Ceph GalaxyPicture of our galaxy :). This picture describes the state of the integration of Ceph into OpenStack. The OpenStack Ceph Galaxy http://www.sebastien-han.fr/blog/2016/05/16
2016-05-23 20:44:21
942
原创 容器 STL
容器 STL vector listdeque 双端队列stack 栈queue 队列priority_queue 优先级队列 底层默认使用向量实现map 映射 有序,提供一对一的关系,以pair为内部类型multimap 多重映射set 集合 元素唯一,集合中元素唯一.multiset 多重集合 bits
2016-05-21 20:13:06
489
原创 STL bitmap 使用
/*description:STL bitmap的使用author:Jasondate:20160521*/#include<stdio.h>#include <bitset>#include<iostream>using namespace std;int main(){ bitset<100> mybitset; mybitset.set();//将所有位置
2016-05-21 17:34:56
3459
原创 STL Map使用
/*description:STL map使用author:Jasondate:20160521*/#include<stdio.h>#include <map>#include<iostream>using namespace std;int main(){ map<char,int> mymap; int data[]={31,-41,59,26,-53,
2016-05-21 17:20:04
539
原创 Markdown编辑器使用说明
Markdown编译器语法说明1.标题格式标题是每篇文章都需要也是最常用的格式，在 Markdown中，如果一段文字被定义为标题，只要在这段文字前加 #+空格号即可。 一级标题 #, 二级标题 ##, 三级标题 ### .一级标题二级标题三级标题2.列表熟悉 HTML 的同学肯定知道有序列表与无序列表的区别，在 Markdown 下，列表的显示只需要在文字前加上 - 或 * 即可变为无序列表，有
2016-05-21 15:16:00
513
原创 python 字符串操作 str
python 字符串操作help(str)class str(basestring) | str(object) -> string | | Return a nice string representation of the object. | If the argument is a string, the return value is the same object.
2016-05-21 10:01:43
482
转载 VIM设置
python 设置set nufiletype plugin indent onautocmd FileType python setlocal et sta sw=2 sts=4autocmd FileType python setlocal foldmethod=indentset foldlevel=99"开启语法高亮syntax on""依文件类型设置自动缩进filetype
2016-05-21 09:44:31
401
原创 python 字典 dict
help(dict) python 字典class dict(object) | dict() -> new empty dictionary | dict(mapping) -> new dictionary initialized from a mapping object's | (key, value) pairs | dict(iterable) -> new
2016-05-20 23:43:02
496
原创 python
python list 函数说明class list(object) | list() -> new empty list | list(iterable) -> new list initialized from iterable's items | | Methods defined here: | | __add__(...) | x.__add__(y
2016-05-20 21:43:34
473
原创 快排 快速排序
快排 快速排序/*description:快速排序参考<<编程珠玑>>author:Jasondate:20160517*/#include<stdio.h>#include<iostream>using namespace std;int show_data(int data[],int len){ cout<<"-----------------------"<<en
2016-05-17 12:38:45
670
原创 插入排序 优化
/*description:排序参考<<编程珠玑>>author:Jasondate:20160516*/#include<stdio.h>#include<iostream>using namespace std;int show_data(int data[],int len){ for (int i=0;i<len;i++) { cout<<da
2016-05-16 10:05:35
442
原创 一个数组中找出连续子向量的最大和 分治算法 扫描算法O(n)
算法设计艺术输入具有n个整数的向量data,输出向量的任意连续子向量的最大和, 当所有输入都是负数时,综合的最大子向量是空向量,总和为0; 例如输入10个数 31,-41,59,26,-53,58,97,-93,-23,84输出 data[2..6]的和 187 59+26+(-53)+58+97其中最高效的是扫描算法O(n) 分治算法O(n*logn) 基本算法是O(n^2)/*d
2016-05-15 11:52:51
1430
转载 得到每个osd的放置组个数
得到每个osd的放置组个数 Get the Number of Placement Groups Per Osdceph pg dump | awk ' /^pg_stat/ { col=1; while($col!="up") {col++}; col++ } /^[0-9a-f]+\.[0-9a-f]+/ { match($0,/^[0-9a-f]+/); pool=substr($0,
2016-05-13 12:35:34
707
转载 wget 爬虫工具 递归下载网址
wget -r -l 3-p -np -k http://xxx.com/xxxwget加上参数之后，即可成为相当强大的下载工具。wget命令详解wget -r -l 3-p -np -k http://xxx.com/xxx-r, --recursive（递归） specify recursive download.（指定递归下载）-k, --convert-links（转换链接） ma
2016-05-09 09:44:03
1419
原创 ntp配置本地服务器 ntp.conf
基本的配置文件 想配置本地时间服务器server 127.127.1.0 必须这样写# --- GENERAL CONFIGURATION ---server aaa.bbb.ccc.dddserver 127.127.1.0fudge 127.127.1.0 stratum 10# Drift file.driftfile /etc/ntp/drift我的例子 restr
2016-05-08 15:43:15
9990
ceph 原理 内容 总结
2016-05-23
pack2alpha1 背包问题9讲
2016-03-15
数学之美 吴军 pdf
2014-11-11
rsync源代码
2014-10-25
机器学习实战.pdf
2014-10-22
SecureCRTSecureFX 中文版
2014-10-18
西工大汇编实验 软件延时器
2013-12-01
西工大 汇编实验 实验四 排序程序
2013-12-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人