ceph学习之PG

PG的计算公式: 整个集群PG的计算公式 Total PGs = ((Total_number_of_OSD * 100) / max_replication_count)   每个POOL中PG的计算公式: Total PGs = (Total_number_...

2017-11-15 12:26:07

阅读数 327

评论数 0

ceph学习之pool

pool是ceph存储数据时的逻辑分区,它起到namespace的作用。其他分布式存储系统,比如Mogilefs、Couchbase、Swift都有pool的概念,只是叫法不同。每个pool包含一定数量的PG,PG里的对象被映射到不同的OSD上,因此pool是分布到整个集群的。 除了隔离数据...

2017-11-15 12:24:40

阅读数 848

评论数 0

Ceph-智能分布CRUSH之Object与PG与OSD

Ceph CRUSH算法(Controlled Replication Under ScalableHashing)一种基于为随机控制数据分布、复制的算法。 基本原理: 存储设备通常支持条带化以增加存储系统的吞吐量并提升性能,条带化最常见的方式就是做raid.如raid0. 数据在阵列中的硬...

2017-11-10 18:09:42

阅读数 265

评论数 0

删除osd的正确方式

最近邮件列表又有关于删除osd正确姿势的讨论,按照官网的步骤走的话,在 标记osd为out 和 从crushmap删除osd 这两步都会触发数据再平衡。根据邮件列表的指示,总结删除osd的正确姿势如下: ceph osd crush reweight osd.X 0.0 … wait f...

2017-11-10 16:19:18

阅读数 311

评论数 0

什么是“5个9”(99.999%)的可靠性?

在软件系统的高可靠性(也称为可用性,英文描述为HA,High Available)里有个衡量其可靠性的标准——X个9,这个X是代表数字3~5。X个9表示在软件系统1年时间的使用过程中,系统可以正常使用时间与总时间(1年)之比,我们通过下面的计算来感受下X个9在不同级别的可靠性差异。 3个...

2017-02-24 09:55:07

阅读数 564

评论数 0

Hadoop格式化HDFS报错java.net.UnknownHostException: localhost.localdomain: localhost.localdomain

异常描述 在对HDFS格式化,执行hadoop namenode -format命令时,出现未知的主机名的问题,异常信息如下所示: [shirdrn@localhost bin]$ hadoop namenode -format 11/06/22 07:33:31 I...

2012-05-20 15:37:33

阅读数 2504

评论数 0

hadoop datanode 为0的常见问题

hadoop datanode 连接不上的常见问题的情况 1. ssh免登陆不成功 2. 防火墙为关闭,以及端口没有开启 3. datanode没有找到server地址,在datanode的日志中有如下异常信息 异常信息分析,这句是关键: Retrying connect to serv...

2012-05-20 15:31:59

阅读数 2595

评论数 0

hadoop重启电脑错误

1. 基本信息 hadoop    版本 hadoop-0.20.205.0.tar.gz 操作系统   ubuntu 2. 问题 在使用Hadoop开发初期的时候遇到一个问题。 每次重启系统后发现不能正常运行hadoop。必须执行  bin/hadoop namenode -...

2012-02-12 18:03:02

阅读数 3081

评论数 0

hadoop-eclipse开发环境搭建及error: failure to login错误

对于Hadoop开发者来讲,通过JAVA API编程是进入Map-Reduce分布式开发的第一步。由于Eclipse本身并没有提供对MapReduce编程模式的支持,所以需要一些简单的步骤来实现。 1. 安装Hadoop。 本文的Hadoop是部署在虚拟机上的伪分布模式。相关软件环境如下: ...

2012-02-12 14:00:06

阅读数 15716

评论数 9

hadoop使用中出现的问题

1. 在执行bin/hadoop fs -put conf input 遇到 错误WARN hdfs.DFSClient: DataStreamer Exception: java.lang.NumberFormatException: For input string: "0:0:0:...

2011-06-01 15:19:00

阅读数 2187

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭