liaoyuanzi的专栏

之前做了“ssh信任与scp自动传输脚本”的技术文档，此方案是作为公司里备份的方法，但在实际的运行中，由于主服务器在给备份服务器传输的时候，我们的主服务器需要备份的文件是实时、不停的产生的，造成不知道主服务器给备份服务器传输了多少文件，磁盘空间就那么大，做备份的原因：一个是为了保持文件，另外一个是解决主服务器的磁盘饱满问题，但由于不知道备份服务器到底接收了多少文件，所以主服务器里的文件不敢删除（如

1.   网络规划内网:1.1.1.1    1.1.1.2外网:10.1.1.1  10.1.1.2vip: 10.1.1.2532.   安装必须的软件2.1、   挂载光盘[root@node2 ~]# mount /dev/cdrom /media/mount: block device /dev/cdrom is

Distributed Replicated Block Device(DRBD)是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。数据镜像：实时、透明、同步（所有服务器都成功后返回）、异步（本地服务器成功后返回）DBRD的核心功能通过Linux的内核实现，最接近系统的IO栈，但它不能神奇地添加上层的功能比如检测到EXT3文件系统的崩溃。 DBRD的位置处于

内核有它自己的方法处理挂起的系统，叫做watchdog，watchdog只是一 个内核模块，它检查计时器确定系统是健康的，如果watchdog认为内核挂起，它可能做出激烈的响应，如重启系统，如果你想保护你的高可用服务器配置， 服务器挂起时导致服务中断，Heartbeat也检测不到，你应该在你的内核中启用watchdog。注意：这里我们讨论的是服务器挂起而不是应用程序问题，Heartbe

内核有它自己的方法处理挂起的系统，叫做watchdog，watchdog只是一个内核模块，它检查计时器确定系统是健康的，如果watchdog认为内核挂起，它可能做出激烈的响应，如重启系统，如果你想保护你的高可用服务器配置，服务器挂起时导致服务中断，Heartbeat也检测不到，你应该在你的内核中启用watchdog。注意：这里我们讨论的是服务器挂起而不是应用程序问题，Heartbeat（在

数据库双机热备有两种典型的方式，一种是比较标准的，两台服务器通过一个共享的存储设备（一般是共享的磁盘阵列或存储区域网SAN），并且安装双机软件，实现双机热备，称为共享方式。另一种方式是通过纯软件的方式，一般称为纯软件方式或镜像方式（Mirror）。对于共享方式，数据库放在共享的存储设备上。当一台服务器提供服务时，直接在存储设备上进行读写。而当系统切换后，另一台服务器也同样读取该存储设备上的数据

一、我们一直以来用的heartbeat大家用heartbeat做双机热备已经都做过很多次很熟悉了,而且配置起来其实也可以说是比较容易的.但是,说实话我们双机配置起来以后能实现的功能其实比较简单,只有在主服务器down掉或者主服务器的heartbeat服务停掉才可以切换,如果要想监控某个进程只有靠脚本。二、遇到的问题heartbeat自带的断网切换的工具-ipfail

1.删除0字节文件find -type f -size 0 -exec rm -rf {} \;2.查看进程按内存从大到小排列PS -e   -o "%C   : %p : %z : %a"|sort -k5 -nr3.按cpu利用率从大到小排列ps -e   -o "%C   : %p : %z : %a"|sort   -nr4.打印说cache里的

MooseFS分布式文件系统安装向导Micha? Borychowski MooseFS Support Manager contact@moosefs.org 翻译Translated by：田逸(sery@163.com) march 2010 Gemius SA MooseFS安装向导翻译：田逸(sery@163.com)概述.

Moosefs-1.6.10 INSTALLsery@163.com Forms 1ruleOSipServiceHost quantityMasterCentos 5.3192.168.0.19Mfsmaster,mfsmetalogger1

MooseFS(MFS)是一个分布式集群文件系统，介绍看这里, 还有官方的中文文档, 这里主要是进行NFS和MFS的benchmark, 测试方法为使用ab进行单个文件访问测试，后端server使用ngnix, write性能测试使用dd.环境:server: 192.168.1.8, Ubuntu, NFS, MFS, 8G内存, 双核Intel(R) Core(

通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件确保在

基本需求:1、  高可用性：将停止服务时间降低到最低甚至是不间断服务2、  可扩展性：随着访问的增加，系统具备良好的伸缩能力3、  可视性：系统、服务的状态处于一个实时的监控之下4、  高性能高可靠性：经过优化的体系结构及合理的备份策略5、  安全性：结构上的安全及主机的安全策略 基本思路1、对于访问频繁，用户量大的对象（bbs,blog）采用某种合理的方式负载到多

在服务器较多，且服务器上硬盘剩余空间较大的情况下。为了更充分的利用资源，我们可以使用分布式的文件系统将这些空间整合起来。而在众多的分布的文件系统中，笔者经过反正的比较和尝试最终选择了moosefs(以下简称mfs).为什么选择mfs而不是其它的什么系统呢？    1.安装简单方便(易用性)。这点是其它系统所不及的。你只需要像安装普通的服务那样安装mfs,不需要修改内核！    2.扩容

网络环境 1、 硬件：服务器、网络附属存储（NAS）和交换机。3个服务器用来做web,2个服务器来做流媒体，1个服务器做LVS-DR,2个mysql服务器，一个邮件服务器，2个交换机，一个NETAPP NAS。2、  运行环境：流媒体windows,其他的都是linux。逻辑结构：除数据库服务器和NETAPP存储外，其他的服务器都使用2个网络地址，一个公网地址和一个私有网络

安装Heartbeat前的准备 Heartbeat集群必须的硬件从下图看出，构建一个Heartbeat集群系统必须的硬件设备有：节点服务器；网络和网卡；共享磁盘。节点服务器安装Heartbeat至少需要两台主机，并且对主机的要求不高，普通的PC服务器即可满足要求。当然，也可以在虚拟机上安装Heartbeat，现在 Heartbeat可以很好地运行在Linux系统下，很多

原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://dreamfire.blog.51cto.com/418026/1084729Linux LVM逻辑卷配置过程详解许多Linux使用者安装操作系统时都会遇到这样的困境：如何精确评估和分配各个硬盘分区的容量，如果当初评估不准确，一旦系统分区不够用时可能不得不备份、

1、脑裂原因1.1）drdb两边的磁盘数据不一致，并且不知道自动恢复，举例说明产生该现象原因：a是从节点、b是主节点1.1.1）a节点磁盘不能正常写入数据（磁盘、主机、网络等原因）1.1.2）a、b两个节点角色发生改变（a为主节点，b磁盘不可用，两边的数据未一致），a中对磁盘进行了操作1.1.3）此时b磁盘恢复可用，但是因为a、b磁盘不一致，出现脑裂1.2）官方描述

虚拟机环境：centos 6.2主服务器：masterNode   192.168.58.128备服务器：backupNode   192.168.58.1291、DRBD安装1.1、安装依赖包：yum -y install gcc kernel-devel kernel-headers flex下载安装drbd源码包：wget http://oss.l

这篇文章其实是对《构建高可用Linux服务器(第二版)》中第五章中“生产下的高可用NFS文件服务器”一节的补充，其实像drbd和heartbeat这些软件都是可以通过yum来自动安装的，例如安装drbd的命令如下：yum -y install drbd83 kmod-drbd83 DRBD的配置文件/etc/drbd.conf如下所示：global { # minor-count

目录(?)[+]DRBD部署以下是关于DRBD的部署，关于DRBD的介绍请参考http://blog.csdn.net/rzhzhz/article/details/7103772部署环境虚拟机2台（1G内存，40G硬盘，ubuntu操作系统）primary节点：   hadoop2-virtual-machine1   10.1

split brain实际上是指在某种情况下，造成drbd的两个节点断开了连接，都以primary的身份来运行。当drbd某primary节点连接对方节点准备发送信息的时候如果发现对方也是primary状态，那么会会立刻自行断开连接，并认定当前已经发生split brain了，这时候他会在系统日志中记录以下信息：“Split-Brain detected,dropping

在高可用解决方案（HA）中，为了实现集群中数据的共享，常见两种架构：1、利用SAN等架构的盘柜存放共享数据；2、在每台集群中的机器本地磁盘中划分一个空间出来，并利用网络等方式，往集群中其他机器同步，以保证每台机器上的数据是一致的。当然，为了令第二种架构也能用于数据库等应用，同步应以数据块方式，而非文件拷贝的方式进行，而DRBD就是可用于实现第二种架构的软件。本文就模拟一个简单的架构来说明DRBD的

对于网站服务器来说，可靠性之重要不用我多说，但要想做到可靠性一般需要昂贵的设备，这里最主要是就是数据同步用的共享磁盘了，磁盘柜+磁盘一共下来是20多万，这对于追求最高性价比的双机负载热备方案来说是极其不靠谱的，尤其是中小型企业，私有企业，一般经理是不会考虑这么高的成本的。我们通常做都是四台服务器+一个磁盘柜子+千兆交换机，那么这个成本下来将近30万了，而且这个方案有个弊端就是 存储依然存在单点故障

在互连网应用技术里,负载均衡一直是热门话题,本书讨论的负载均衡技术,包括但不限于负载均衡本身。使用负载均衡技术主要的目的包括如下几点：◆     系统高可用性。组成系统的某些设备或部件失效，并不会影响正常的服务。◆     系统可扩展性。用户的增加，引起访问数乃至流量的增加，这种情形下，需要对系统进行扩容，以应对这种快速增长。对于提供高可用服务的互联网网站，其对可扩展的基本要求就是

这里我们仅仅只利用Keepalive做双机热备，也就是保证服务器的高可用性，其他的不用管。可能您会说这样在实际应用中很少会这样用，这您可就错了，Keepalived仅仅做双机热备的情况还是有的，我就碰到过几次这样的案例，下面就我碰到的几个案例做个小结一，Keepalived双机热备的应用场景1，网站流量不高，压力不大，但是对服务器的可靠性要求极其高，例如实时在线OA系统，政府部门网

我已经不是第一次介绍Heatbeat，通过yum可轻松安装Heartbeat 2.x，网上的资料（包括我以前的多篇日志）都已很详细的介绍了Heartbeat 2.x 的部署方式。而自2月Heartbeat 3.0.2，作为首个3.x Final Release 版本发布后，官方网站已改版，并建议从2.x更新到3.0.2，导致很多老的配置文档、说明等都很难找到链接。此外，触发我考虑使用Heart

heartbeat简介heartbeat 项目是 Linux-HA 工程的一个组成部分，它实现了一个高可用集群系统。例如，节点间的内部通信方式、集群合作管理机制、监控工具和失效切换功能等。但是heartbeat仅仅是个HA软件，它仅能完成心跳监控和资源接管，不会监视它控制的资源或应用程序。要检测资源和应用程序是否正常，必须通过第三方插件实现，例如：ipfail、Mon和Ldirector等

一、什么是DRBD？    DRBD 是由内核模块和相关脚本而构成，用以构建高可用性的集群。其实现方式是通过网络来镜像整个设备。您可以把它看作是一种网络RAID。二、drbd 的应用范围是什么？除此之外，创建高可用性集群还需要什么？        Drbd 负责接收数据，把数据写到本地磁盘，然后发送给另一个主机。另一个主机再将数据存到自己的磁盘中。其他所需的组件有集群成员服务，如Tur

随着互联网的发展，大数据运算需求日益剧增，开源的hadoop出现至今，几乎已成为了业界的默认标准，下面，笔者就开始构建一个简单的hadoop并行运算集群。一、    环境介绍模拟环境使用三台rhel5.8 32bit，各自IP和主机名如下：IP                            主机名        192.168.88.253

近日一直在闭关修炼，近得闲暇，特浮出水面，把修炼中的一些所得和各位同道论坛论坛，以光我CTO之道门。在中国，中小企业当然是大把大把滴，其OA环境多以几十台PC据多，有一些重要的数据，都是存储在具有镜像阵列磁盘的服务器上，但问题是磁盘阵列要是挂了呢？就算是数据能恢复，它也要花时间来鼓捣啊，这中间也误事啊，还有的老板根本就觉得RAID靠不住，非要每天下班时再备份下数据，我KAO，这下麻烦大了，