云相关技术
天霜地目
欢迎进行技术交流
展开
-
hadoop使用中出现的问题
1. 在执行bin/hadoop fs -put conf input 遇到 错误WARN hdfs.DFSClient: DataStreamer Exception: java.lang.NumberFormatException: For input string: "0:0:0:0:0:0:1:50010" at java.lang.NumberFormatException.forInputString(NumberFormatException.java:48) at java.lang原创 2011-06-01 15:19:00 · 2469 阅读 · 0 评论 -
ceph学习之pool
pool是ceph存储数据时的逻辑分区,它起到namespace的作用。其他分布式存储系统,比如Mogilefs、Couchbase、Swift都有pool的概念,只是叫法不同。每个pool包含一定数量的PG,PG里的对象被映射到不同的OSD上,因此pool是分布到整个集群的。除了隔离数据,我们也可以分别对不同的POOL设置不同的优化策略,比如副本数、数据清洗次数、数据块及对象大小等。转载 2017-11-15 12:24:40 · 1663 阅读 · 0 评论 -
Ceph-智能分布CRUSH之Object与PG与OSD
Ceph CRUSH算法(Controlled Replication Under ScalableHashing)一种基于为随机控制数据分布、复制的算法。 基本原理: 存储设备通常支持条带化以增加存储系统的吞吐量并提升性能,条带化最常见的方式就是做raid.如raid0. 数据在阵列中的硬盘上是以条带的形式分布的,条带化是指数据在陈列中所有硬盘中的存储过程。文件中的数据被分割成小块的数据段在转载 2017-11-10 18:09:42 · 929 阅读 · 0 评论 -
删除osd的正确方式
最近邮件列表又有关于删除osd正确姿势的讨论,按照官网的步骤走的话,在 标记osd为out 和 从crushmap删除osd 这两步都会触发数据再平衡。根据邮件列表的指示,总结删除osd的正确姿势如下: ceph osd crush reweight osd.X 0.0 … wait for rebalance to finish…. ceph osd out X servic转载 2017-11-10 16:19:18 · 1872 阅读 · 0 评论 -
什么是“5个9”(99.999%)的可靠性?
在软件系统的高可靠性(也称为可用性,英文描述为HA,High Available)里有个衡量其可靠性的标准——X个9,这个X是代表数字3~5。X个9表示在软件系统1年时间的使用过程中,系统可以正常使用时间与总时间(1年)之比,我们通过下面的计算来感受下X个9在不同级别的可靠性差异。 3个9:(1-99.9%)*365*24=8.76小时,表示该软件系统在连续运行1年时间里最多可能的业务中断转载 2017-02-24 09:55:07 · 2007 阅读 · 0 评论 -
Hadoop格式化HDFS报错java.net.UnknownHostException: localhost.localdomain: localhost.localdomain
异常描述在对HDFS格式化,执行hadoop namenode -format命令时,出现未知的主机名的问题,异常信息如下所示: [shirdrn@localhost bin]$ hadoop namenode -format11/06/22 07:33:31 INFO namenode.NameNode: STARTUP_MSG: /*************转载 2012-05-20 15:37:33 · 3020 阅读 · 0 评论 -
hadoop datanode 为0的常见问题
hadoop datanode 连接不上的常见问题的情况1. ssh免登陆不成功2. 防火墙为关闭,以及端口没有开启3. datanode没有找到server地址,在datanode的日志中有如下异常信息异常信息分析,这句是关键:Retrying connect to server: localhost/127.0.0.1:9000.是说在尝试10次连接到“server”时原创 2012-05-20 15:31:59 · 3490 阅读 · 0 评论 -
hadoop重启电脑错误
1. 基本信息hadoop 版本 hadoop-0.20.205.0.tar.gz操作系统 ubuntu2. 问题在使用Hadoop开发初期的时候遇到一个问题。 每次重启系统后发现不能正常运行hadoop。必须执行 bin/hadoop namenode -format 进行格式化才能成功运行hadoop,但是也就意味着以前记录的name等数据丢失。原创 2012-02-12 18:03:02 · 3319 阅读 · 0 评论 -
hadoop-eclipse开发环境搭建及error: failure to login错误
对于Hadoop开发者来讲,通过JAVA API编程是进入Map-Reduce分布式开发的第一步。由于Eclipse本身并没有提供对MapReduce编程模式的支持,所以需要一些简单的步骤来实现。1. 安装Hadoop。本文的Hadoop是部署在虚拟机上的伪分布模式。相关软件环境如下:JDK: sun jdk1.6.0_30Hadoop: hadoop-0.20.203.0L转载 2012-02-12 14:00:06 · 17983 阅读 · 10 评论 -
ceph学习之PG
PG的计算公式:整个集群PG的计算公式Total PGs = ((Total_number_of_OSD * 100) / max_replication_count) 每个POOL中PG的计算公式:Total PGs = (Total_number_of_OSD * 100) / max_replication_count / pool_count转载 2017-11-15 12:26:07 · 979 阅读 · 0 评论