- 博客(78)
- 资源 (22)
- 收藏
- 关注
转载 ceph存储 centos下通过Linux的ACL命令学习ACL权限分配原理
ACL详解 Linux权限非常的一重要,正常情况下一个文件或目录有三种角色,分别为:目录或文件拥有者(User)、所属群组(Group)、其他用户(Other),每个角色对应:读、写、可执行(rwx)。这也是我们最常见的权限,#ls -l 所看到第一列内容。第一位是文件类型,如 d 是目录、-是普通文件、l 是链接文件、c 是字符文件、b 是块文件等。 剩下9位即是文件对应三种角色的权
2014-12-31 20:23:26 1675
转载 ceph存储 网络层访问权限控制技术-acl(访问控制列表)
网络应用与互联网的普及在大幅提高企业的生产经营效率的同时,也带来了诸如数据的安全性,员工利用互联网做与工作不相干事等负面影响。如何将一个网络有效的管理起来,尽可能的降低网络所带来的负面影响就成了摆在网络管理员面前的一个重要课题。 A公司的某位可怜的网管目前就面临了一堆这样的问题。A公司建设了一个企业网,并通过一台路由器接入到互联网。在网络核心使用一台基于IOS的多层交换机,所有的二层交换
2014-12-31 20:22:04 3353
转载 ceph存储 FUSE原理总结
1 概述Fuse是filesystem in user space,一个用户空间的文件系统框架,允许非特权用户建立功能完备的文件系统,而不需要重新编译内核。fuse模块仅仅提供内核模块的入口,而本身的主要实现代码位于用户空间中。对于读写虚拟文件系统来讲,fuse是个很好的选择。fuse包含包含一个内核模块和一个用户空间守护进程,将大部分的VFS调用都委托一个专用的守护进程来处理。
2014-12-31 20:20:27 7154 1
转载 ceph存储 linux中的零拷贝技术小结
如果应用程序可以直接访问网络接口存储,那么在应用程序访问数据之前存储总线就不需要被遍历,数据传输所引起的开销将会是最小的。应用程序或 者运行在用户模式下的库函数可以直接访问硬件设备的存储,操作系统内核除了进行必要的虚拟存储配置工作之外,不参与数据传输过程中的其它任何事情。直接 I/O 使得数据可以直接在应用程序和外围设备之间进行传输,完全不需要操作系统内核页缓存的支持。关于直接 I/O 技术的具体
2014-12-31 20:13:54 1689
转载 ceph存储 centos下fuser命令小结
fuser 概述fuser命令是用来显示所有正在使用着指定的file, file system 或者 sockets的进程信息。例一:#fuser –m –u /mnt/usb1 /mnt/usb1: 1347c(root) 1348c(guido) 1349c(guido)在例子一中,使用了-m和-u选项,用来查找所有正在
2014-12-31 20:12:07 1019
原创 python语言 python打印当前函数名称和行号示例
示例demo:#!/usr/bin/env pythonimport osimport sysimport inspectimport loggingfrom datetime import *def get_head_info(): try: raise Exception except: f = sys
2014-12-26 10:13:04 8438
转载 python语言 python获取当前时间
我有的时候写程序要用到当前时间,我就想用python去取当前的时间,虽然不是很难,但是老是忘记,用一次丢一次,为了能够更好的记住,我今天特意写下python 当前时间这篇文章,如果你觉的对你有用的话,可以收藏下。取得时间相关的信息的话,要用到python time模块,python time模块里面有很多非常好用的功能,你可以去官方文档了解下,要取的当前时间的话,要取得当前时间的时
2014-12-26 09:08:36 2484
转载 ceph存储 Linux下程序问题的定位和gdb命令行参数大全
strace -p pid //跟踪pid进程的系统调用 在后台开发中,strace -p 能够很方便的查看系统调用的参数,返回值,耗时等信息。 gdb -p pid //调试pid进程 能够调试pid对应的程序 在gdb中用set print element
2014-12-25 14:58:23 2283
转载 ceph存储 centos下ulimit用法示例
1. 命令用法命 令:ulimit功 能:控制shell程序的资源语 法:ulimit [-aHS][-c ][-d ][-f ][-m ][-n ][-p ][-s ][-t ][-u ][-v ] 补充说明:ulimit为shell内建指令,可用来控制shell执行程序的资源。 参 数: -a 显示
2014-12-25 11:10:06 853
转载 ceph存储 centos系统grub引导多系统示例
在一台服务器上安装centos双系统,一个6.4一个6.3,安装完毕需要更改grub引导,针对这个问题做一下总结,与各位分享。在/etc和/boot/grub下都存在grub.conf文件,/etc下的grub文件是/boot/grub下grub文件的硬链接,所以改任何一个都可以。点击(此处)折叠或打开# grub.conf generated by ana
2014-12-24 19:46:58 641
转载 C++学习 对string和stringstream用法认知
一、stringstring 是 C++ 提供的字串型態,和 C 的字串相比,除了有不限长度的优点外,还有其他许多方便的功能。要使用 string, 必須先加入这一行:#include 接下來要宣告一个字串变量,可以写成:string s;我们也可以在宣告的同时让它设成某个字串:string s="TCGS";而要取得其中某一個字元,和传统C 的字串一樣是用 s[i
2014-12-24 13:28:23 845
转载 ceph存储 centos下chkconfig详解
chkconfigchkconfig在命令行操作时会经常用到。它可以方便地设置和查询不同运行级上的系统服务。这个可要好好掌握,用熟练之后,就可以轻轻松松的管理好你的启动服务了。注:谨记chkconfig不是立即自动禁止或激活一个服务,它只是简单的改变了符号连接。语法:chkconfig [--add] [--del] [--list] [
2014-12-23 13:54:35 697
原创 ceph存储 centos7搭建samba服务
1、首先安装sambayum install samba2、查看安装信息rpm -qi samba,正常显示如下3、配置内核相关参数ulimit -n 16384 && vim /etc/security/limits.conf,增加内容如下:* - nofile 163844、关闭防火墙或者在iptables里放开445和139端口,并重启iptables服务
2014-12-23 13:24:40 3170
转载 ceph存储 centos中Git常用命令
Git 是一个很强大的分布式版本控制系统。它不但适用于管理大型开源软件的源代码,管理私人的文档和源代码也有很多优势。 本来想着只把最有用、最常用的 Git 命令记下来,但是总觉得这个也挺有用、那个也用得着,结果越记越多。
2014-12-20 19:20:43 705
转载 ceph存储 centos下SELinux工具
检查SELinux是否已经启用.[root@localhost ~]# sestatusSELinux status: disabled常用命令如下:sestatus查询系统的selinux目 前的狀态selinuxenabled查询系统的selinux支 援是否有启用setenforce
2014-12-18 19:33:10 990
转载 ceph存储 Linux NTPD设置、调试
10、NTPD服务端设置(1)确认NTPD服务已经开启,时区设置正确,如有问题参见本章3、4、5、6条的描述。(2)确认NTPD能够作为客户端从上级NTP服务器获取时间,如有问题参见本章3、4、5、6条的描述。(3)NTPD服务的主要配置文件默认是/etc/ntp.conf。(4)设置配置文件中的“restrict”项,主要用于控制客户端对服务器的访问,一般设置如下:restr
2014-12-18 19:07:36 1032
转载 ceph存储 ceph集群配置参数一
1、POOL, PG AND CRUSH CONFIG REFERENCEhttp://docs.ceph.com/docs/master/rados/configuration/pool-pg-config-ref/所属配置段:【global】格式:osd pool default pg num = 250每个存储池最大pg数:mon max pool pg num同
2014-12-18 08:43:17 1591
转载 ceph存储 ceph集群配置参数二
6、KEYVALUESTORE CONFIG REFERENCEhttp://ceph.com/docs/master/rados/configuration/keyvaluestore-config-ref/KeyValueStore is an alternative OSD backend compared to FileStore. Currently, it uses Level
2014-12-18 08:43:16 1075
转载 ceph存储 ceph集群keyvaluestore认知
CephStore Engine KeyValueStore概述KeyValueStore 是 Ceph 支持的另一个存储引擎(第一个是FileStore),它是在 Emporer 版本中Add LevelDB support to ceph cluster backend store Design Summit 上由本人提出并实现了原型系统,在 Firely 版本中实现了与 Ob
2014-12-18 08:42:56 1205
转载 ceph存储 ceph集群配置参数三
8、MONITOR CONFIG REFERENCEhttp://ceph.com/docs/master/rados/configuration/mon-config-ref/ 客户端在读写数据前,都比去和monitor取得联系,获得cluster map,结合CRUSH算法计算得到对象的位置。(1)最小配置 生成一个fsid和monitorde的最小
2014-12-18 08:42:48 1230
转载 ceph存储 ceph集群filestore认知
CephStore Engine Filestore概述Ceph作为一个高可用和强一致性的软件定义存储实现,去使用它非常重要的就是了解其内部的IO路径和存储实现。这篇文章主要介绍在IO路径中最底层的ObjectStore的实现之一FileStore。ObjectStoreObjectStore是Ceph OSD中最重要的概念之一,它封装了所有对底层存储的IO操作。从上图中可以看
2014-12-18 08:42:31 2097
转载 ceph存储 ceph集群测试工具mdtest
mdtest是一款针对服务器元数据处理能力的基准测试工具,可以用来模拟对文件或目录的open/stat/close操作,然后返回报告。它支持MPI,可以用来协调大量客户端对服务器发起请求。下载地址:http://sourceforge.net/projects/mdtest/ 在论文: 中, 海量并行存储系统Cappella的性能分析就用到了mdtest测试工具.绘制表格
2014-12-18 08:42:05 3872
转载 ceph存储 centos下Git常用命令查询
在介绍安装和简单使用前,先看一下百度百科中的简介吧:———————————————————————————————————————— Git --- The stupid content tracker, 傻瓜内容跟踪器。 Linux 是这样给我们介绍 Git 的: Git 是用于Linux 内核开发的版本控制工具。与常用的版本控制工具 CVS, Subversi
2014-12-18 08:41:53 708
转载 ceph存储 ceph集群Linux系统与程序监控工具atop教程
引言Linux以其稳定性,越来越多地被用作服务器的操作系统(当然,有人会较真地说一句:Linux只是操作系统内核:)。但使用了Linux作为底层的操作系统,是否我们就能保证我们的服务做到7*24地稳定呢?非也,要知道业务功能是由系统上跑的程序实现的,要实现业务功能的稳定性,选择Linux只是迈出的第一步,我们更多地工作是不让业务程序成为稳定性的短板。 当我们的服务器出现问题的时候,外在
2014-12-18 08:41:30 932
转载 ceph存储 "ceph集群浅析七"关于Ceph的若干想法
7.1 关于Ceph的性能 目前为止,本系列的文章中没有涉及到Ceph性能的详细讨论,也没有给出任何的Ceph性能数据。原因很简单:笔者本人没有机会进行详尽的Ceph性能分析研究,也没有见到比较全面的相关数据。因此,为了避免以片面的数据误导读者,便没有提供任何信息。 以笔者个人的经验而言,探讨一个系统领域的开源项目的性能,事实上并不容易。其原因在于,影响一
2014-12-17 14:58:44 845
转载 ceph存储 "ceph集群浅析六"Ceph与OpenStack
关注Ceph的原因之一,就是OpenStack社区对于Ceph的重视。因此,本文将对Ceph在OpenStack中的价值进行简要介绍,并且对Ceph和Swift进行对比。 6.1 Ceph在OpenStack中的地位 对于一个IaaS系统,涉及到存储的部分主要是块存储服务模块、对象存储服务模块、镜像管理模块和计算服务模块。具体针对OpenStack而言,则分别对应为
2014-12-17 14:56:26 722
转载 ceph存储 "ceph集群浅析五"Ceph的工作原理及流程
本文将对Ceph的工作原理和若干关键工作流程进行扼要介绍。如前所述,由于Ceph的功能实现本质上依托于RADOS,因而,此处的介绍事实上也是针对RADOS进行。对于上层的部分,特别是RADOS GW和RBD,由于现有的文档中(包括Sage的论文中)并未详细介绍,因而本文或有语焉不详之处,还请读者多多包涵。 本文将首先介绍RADOS中最为核心的、基于计算的对象寻址机制,然后说明对象
2014-12-17 14:52:24 982
转载 ceph存储 "ceph集群浅析四"Ceph的结构
本文将从逻辑结构的角度对Ceph进行分析。4.1 Ceph系统的层次结构 Ceph存储系统的逻辑层次结构如下图所示[1]。 自下向上,可以将Ceph系统分为四个层次: (1)基础存储系统RADOS(Reliable, Autonomic, Distributed Object Store,即可靠的、自动化的、分布式的对象存储)
2014-12-17 14:38:33 793
转载 ceph存储 "ceph集群浅析三"Ceph的设计思想
分析开源项目,时常遇到的一个问题就是资料不足。有时间写代码的大牛们通常是都是没有时间或者根本不屑于写文档的。而不多的文档通常又是使用手册之类的东西。即便偶尔有设计文档通常也是语焉不详。在这种情况下,想从代码里反向把设计思想提炼出来,毕竟不是人人都能做到的。 值得我们庆幸的是,Ceph是一个典型的起源于学术研究课题的开源项目。虽然学术研究生涯对于Sage而言只是其光辉事迹的短短一篇
2014-12-17 14:36:46 688
转载 ceph存储 "ceph集群浅析二"Ceph概况
本文将对Ceph的基本情况进行概要介绍,以期读者能够在不涉及技术细节的情况下对Ceph建立一个初步印象。 2.1 什么是Ceph? Ceph的官方网站Ceph.com上用如下这句话简明扼要地定义了Ceph: “Ceph is a unified, distributed storage system designed for excellen
2014-12-17 14:29:46 717
转载 ceph存储 "ceph集群浅析一"前言
Ceph无疑是目前人气最高的开源存储项目之一。因此,笔者近期也花了一些时间对其进行调研。基于对现有资料文档的学习思考,以及由此而来的心得体会,笔 者将用一系列文章对Ceph进行介绍与分析。文章内容大致涵盖Ceph的产生背景、设计思想、技术实现、主要特点、与OpenStack的联系、与 Swift的比较等等。 由于条件及精力所限,笔者并未对Ceph的源代码进行深入分析,也没有Ce
2014-12-17 14:27:37 685
转载 ceph存储 ceph集群osd故障自我检测
心跳是用于OSD节点间检测对方是否故障的,以便及时发现故障节点进入相应的故障处理流程。故障检测需要在故障的发现时间和心跳带来的负载之间做权衡,如果心跳频率太高则过多的心跳报文会影响系统性能,如果心跳频率过低则会延长发现故障节点的时间,从而影响系统的可用性。建立连接在大规模部署的场景中,如果任意两个OSD节点间都建立心跳连接将带来巨大的负担。尤其,当新加入一个OSD节点时这个负担就会几倍地增
2014-12-17 14:01:15 3932 1
转载 ceph存储 ceph集群消息处理
总体上,Ceph的消息处理框架是发布者订阅者的设计结构。Messenger担当发布者的角色,Dispatcher担当订阅者的角色。Messenger将接收到的消息通知给已注册的Dispatcher,由Dispatcher完成具体的消息处理。在服务端,SimpleMessenger通过Accepter实例监听端口,接收来自客户端的连接。Accepter接受客户端的连接后,为该连接创建一个Pipe
2014-12-17 13:42:38 1220
转载 ceph存储 ceph集群Paxos算法分析
一致性问题如上图所示,服务器Ai(i=1,2,..5)组成存储集群,每份数据在5台服务器中各保留一个副本。当客户端C1和C2同时修改存储在集群中的同一份数据时,由于网络延迟的存在无法保证两个修改数据的请求到达每台服务器的先后顺序。也就是说,可能出现C1的请求先到达A1服务器,而C2的请求先到达A2服务器的情况。这种情况下,在A1和A2服务器上对数据的修改顺序不同,而修改顺序的不同直接导致了
2014-12-17 11:40:40 2085
转载 ceph存储 ceph集群Paxos算法实现
Recovery阶段在Leader选举成功后,Leader和Peon都进入Recovery阶段。该阶段的目的是为了保证新Quorum的所有成员状态一致,这些状态包括:最后一个批准(Committed)的提案,最后一个没批准的提案,最后一个接受(Acceppted)的提案。每个节点的这些状态都持久化到磁盘。对旧Quorum的所有成员来说,最后一个通过的提案应该都是相同的,但对不属于旧Quorum
2014-12-17 11:30:20 3243
转载 ceph存储 Dmidecode命令详解
Dmidecode 这款软件允许你在 Linux 系统下获取有关硬件方面的信息。Dmidecode 遵循 SMBIOS/DMI 标准,其输出的信息包括 BIOS、系统、主板、处理器、内存、缓存等等。偶发现这个工具很有用,就总结一下。一、Dmidecode简介DMI (Desktop Management Interface, DMI)就是帮助收集电脑系统信息的管理系统,DMI信息的收集必须
2014-12-17 11:12:37 897
转载 嵌入式 死锁&活锁含义
和操作系统一样,封锁的方法可能引起活锁和死锁。一、活锁如果事务T1封锁了数据R,事务T2又请求封锁R,于是T2等待。T3也请求封锁R,当T1释放了R上的封锁之后系统首先批准了T3的请求,T2仍然等待。然后T4又请求封锁R,当T3释放了R上的封锁之后系统又批准了T4的请求,...,T2有可能永远等待,这就是活锁的情形,如图8.4(a)所示。
2014-12-17 11:11:00 1139
转载 ceph存储 ceph集群Leader选举
Paxos算法存在活锁问题。从节点中选出Leader,然后将所有对数据的修改都通过Leader作为提案提出,可以让算法快速收敛。Leader的选举规则是,由当前活动的Monitor节点中rank值最小的节点当选。选举不仅会产生Leader还将确定Quorum成员,Quorum成员就是那些支持新Leader节点当选Leader的节点。因此,虽然不能保证Leader的rank值是所有节点中最小的,但是
2014-12-17 11:04:33 1289
转载 ceph存储 ceph集群定时器safetimer的实现
定时器的作用是在指定的时间执行指定的动作。SafeTimer通过multimap数据结构维护定时项,定时项是时间和事件的Pair,定时项在map中按照定时时间从小到大排列。此外,SafeTimer使用一个线程来轮询定时项,当到达定时项指定的时间时执行对应的事件。下面代码是这个线程的入口函数:void SafeTimer::timer_thread(){ lock.Lock();
2014-12-17 09:56:39 1070
转载 ceph存储 ceph集群集成到OpenStack云中
了解 Ceph,这是一个能够增强您的 OpenStack 环境的开源分布式存储系统对于以基础架构即服务形式部署和设计云计算产品的公司而言,数据复制和存储机制仍然是确保为客户提供完整性和服务连续性的实际前提条件。云计算提供了一种模型,其中数据的位置没有其他基础架构模型中那么重要(比如在一些模型中,公司直接拥有昂贵的存储硬件)。Ceph 是一个开源、统一、分布式的存储系统,提供了一种便
2014-12-17 09:45:15 1100 1
tracepoint_lttng使用详解
2015-03-23
多路径multipath配置文档和相关概念
2015-01-07
ceph-fs-rpm-build
2014-12-08
ceph-cognize-docs_zh-v1.3
2014-11-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人