排序:
默认
按更新时间
按访问量

分布式文件系统MFS、Ceph、GlusterFS、Lustre的比较

原文:http://blog.csdn.net/metaxen/article/details/7108958   MooseFS(MFS) Ceph GlusterFS Lustre ...

2018-10-19 00:38:12

阅读数:4

评论数:0

GlusterFS文件系统弹性哈希算法

原文链接:http://www.taocloudx.com/index.php?a=shows&catid=4&id=66   (作者:林世跃@TaoCloud) GlusterFS采用独特的无中心对称式架构,与其他有中心的分布式文件系统相比,...

2018-10-19 00:30:00

阅读数:3

评论数:0

ceph的CRUSH算法的源码分析

Contents [hide] 1 1 源文件分析 1.1 1.1 rule与bucket的关系 1.2 1.2 crush目录下的文件 1.3 1.3 crush.h中 1.4 1.4 crush.c中 1.5 1.5 build.c中 1.6 1.6 在hash.h、...

2018-10-19 00:11:18

阅读数:5

评论数:0

ceph osdmap crush 分析

1 maps 更新 1.1 更新规则   Because cluster map changes may be frequent, as in a very large system where OSDs failures and recoveries are the norm, updates ...

2018-10-18 01:46:10

阅读数:62

评论数:0

Ceph源码解析:CRUSH算法

1、简介      随着大规模分布式存储系统(PB级的数据和成百上千台存储设备)的出现。这些系统必须平衡的分布数据和负载(提高资源利用率),最大化系统的性能,并要处理系统的扩展和硬件失效。ceph设计了CRUSH(一个可扩展的伪随机数据分布算法),用在分布式对象存储系统上,可以有效映射数据对象到...

2018-10-18 01:17:29

阅读数:22

评论数:0

ceph weight 和 reweight的区别

用ceph osd tree 命令查看ceph 集群,会发现有weight 和 reweight 两个值   weight 权重和磁盘的容量有关,一般1T,值为1.000, 500G就是0.5  其和磁盘的容量有关系,不因磁盘可用空间的减少而变化 其可以通过以下命令设置 ceph osd...

2018-10-16 17:48:11

阅读数:20

评论数:0

一致性hash以及python代码实现

背景:自己之前的项目里面使用了redis作为KV存储,不仅是因为性能,主要是需要用redis的hash数据结构。后来随着业务发展,读写压力越来越大,一开始的做法是读写分离,接着一主多从,发现还是不能很好的解决写redis的压力,又因为自己使用的redis版本比较低还不支持分布式的功能,所以自己想去...

2018-10-16 11:29:57

阅读数:4

评论数:0

各种hash算法合集

1、整型的Hash算法使用的是Thomas Wang's 32 Bit / 64 Bit Mix Function ,这是一种基于位移运算的散列方法。基于移位的散列是使用Key值进行移位操作。通常是结合左移和右移。每个移位过程的结果进行累加,最后移位的结果作为最终结果。这种方法的好处是避免了乘法运...

2018-10-16 10:45:43

阅读数:6

评论数:0

一致性Hash算法背景

  一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题,使得DHT可以在P2P环境中真正得到应用。   但现在一致性has...

2018-10-16 10:38:21

阅读数:2

评论数:0

Ceph剖析:数据分布之CRUSH算法与一致性Hash

作者:吴香伟 发表于 2014/09/05 版权声明:可以任意转载,转载时务必以超链接形式标明文章原始出处和作者信息以及版权声明 数据分布是分布式存储系统的一个重要部分,数据分布算法至少要考虑以下三个因素: 1) 故障域隔离。同份数据的不同副本分布在不同的故障域,降低数据损坏的风险; 2) 负...

2018-10-16 01:08:50

阅读数:2

评论数:0

librados 简单介绍

一个Ceph客户端,通过librados直接与OSD交互,来存储和取出数据。为了与OSD交互,客户端应用必须直接调用librados,连接一个Ceph Monitor。一旦连接好以后,librados会从Monitor处取回一个Clustermap。当客户端的应用想读或者取数据的时候,它会创建一个...

2018-10-14 23:38:42

阅读数:1

评论数:0

数据库ER图基础概念整理

ER图分为实体、属性、关系三个核心部分。实体是长方形体现,而属性则是椭圆形,关系为菱形。 ER图的实体(entity)即数据模型中的数据对象,例如人、学生、音乐都可以作为一个数据对象,用长方体来表示,每个实体都有自己的实体成员(entity member)或者说实体对象(entity insta...

2018-10-13 23:26:56

阅读数:29

评论数:0

Python RPC 之 gRPC

gRPC 简介: gRPC 是一款高性能、开源的 RPC 框架,产自 Google,基于 ProtoBuf 序列化协议进行开发,支持多种语言(Golang、Python、Java等),本篇只介绍 Python 的 gRPC 使用。因为 gRPC 对 HTTP/2 协议的支持使其在 Androi...

2018-10-10 23:32:14

阅读数:16

评论数:0

用PYTHON开发RPC应用

用Python开发Zeroc Ice应用 Zeroc Ice简介   Zeroc ICE(Internet Communications Engine ,互联网通信引擎)是目前功能比较强大和完善的RPC框架,支持跨平台、跨语言调用。它非常灵活,可以通过TCP、UDP、SSL/TSL或WebSo...

2018-10-10 23:18:47

阅读数:3

评论数:0

python分布式进程

总结:manager节点中queue队列,通过QueueManager封装通过网络暴露给work节点中的进程使用。Queue对象存储在manager节点中进程     在Thread和Process中,应当优选Process,因为Process更稳定,而且,Process可以分布到多台机...

2018-10-09 23:38:24

阅读数:7

评论数:0

Python之分布式监控系统开发

为什么要做监控?  –熟悉IT监控系统的设计原理 –开发一个简版的类Zabbix监控系统 –掌握自动化开发项目的程序设计思路及架构解藕原则 常用监控系统设计讨论 Zabbix Nagios 监控系统需求讨论 1.可监控常用系统服务、应用、网络设备等 2.一台主机上可监控多个不同服...

2018-10-09 22:30:19

阅读数:14

评论数:0

python中的高效迭代器函数

  chain()   出处:https://blog.csdn.net/xiaodongxiexie/article/details/54645123 python中内置的库中有个itertools,可以满足我们在编程中绝大多数需要迭代的场合,当然也可以自己造轮子,但是有现成的好用的...

2018-10-07 22:29:58

阅读数:9

评论数:0

__import__ 与动态加载 python module

本文介绍 python module 的动态加载,我们有时希望从配置文件等地获取要被动态加载的 module,但是所读取的配置项通常为字符串类型,无法用 import 加载,例如: 1 2 3 4 5 6 &g...

2018-10-07 12:17:10

阅读数:27

评论数:0

angular controller绑定方法的写法

angular.module("myApp", []) .controller("myCtrl", ['$scope', function($scope){ $scope.mydata = "hel...

2018-10-06 23:29:51

阅读数:40

评论数:0

$interpolate,$interpolateProvider

interpolate 接受字符串参数,返回模版工厂 <pre>angular.module('myApp',[]) .controller('MyController', function($scope, $interpolate){ $scope...

2018-10-06 23:16:13

阅读数:23

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭