半道出家的和尚

原创 Filesystems (ext3, reiser, xfs, jfs) comparison on Debian

 粗略翻译了一下 Filesystems (ext3, reiser, xfs, jfs) comparison on Debian Etch 这篇文章。 有很多的关于linux文件系统比较的文章，但是他们大部分都是anecdotal的，都是基于人为的一些任务或者都是在老的内核下面完成的。这篇评论是基于11项真实存在于一台硬件比较老（奔腾 II/III ，EIDE硬盘）的文件服务器上的任务。 为什

原创 让我介绍MySQL Master-Slave架构下使用MMM的必要性

 MySQL本身没有提供replication failover的解决方案(见How can I use replication to provide redundancy or high availability?)如何使Replication方案具有HA？答案是MMM(MySQL Master-Master Replication Manager)MMM对MySQL Master-Slave

原创 Database Sharding Helps High-Traffic Sites

 Several presentations this week have focused attenton on database sharding - breaking a large database into smaller pieces to provide faster access to the data. ZDNet reports how Google used databa

原创 MogileFS一个开源的分布式文件系统

MogileFS 是一个开源的分布式文件系统，用于组建分布式文件集群，由danga团队开发，该团队同时也是memcached的开发者。MogileFS的存储引擎对应用完全透明，同时它的每一个节点还可以作为轻量级Http Server，支持GET直接访问文件。另外，还包括接入时负载均衡的支持。 应用层——没有特殊的组件要求 无单点失败——MogileFS启动的三个组件（存储节点、跟踪器、跟踪

原创 FastDFS一个高效的分布式文件系统

 同事 happy_fish 最近开发了一个很强大，很快速的开源分布式文件系统 - FastDFS，使用纯C开发，执行效率非常高，能够解决大并发和分布式存储的问题，简洁高效，适合很多不想使用 Hadoop 或 MogileFS 的兄弟们值得尝试的一个分布式文件系统 FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解

原创 MySQL的数据存储格式：按照读写比的选择

原创 MySQL 分表分数据库服务器的一种方案HSCALE, 基于MySQL proxy

 在大型的应用中，我们经常碰到MySQL的表数据需要无限扩充的情形。我们通常有以下一些解决方案，但是现成的方案都不是完美的。比如，MySQL master/slave: 只适合大量读的情形，未必适合海量数据。MySQL cluster: 提供的可能不是大家想要那种功能。MySQL proxy: MySQL master/slave配合MySQL 5.1 partitio

原创 用HSCALE实现MySQL的数据分布式存储

 针对单个表过大造成的性能问题，MySQL在5.1开始引入了分区表(partition)，可以将数据在内部拆分存储，对应用透明，但是分区表只能将表在同一个数据库内部分解，而且对于表的维护(比如执行alter table)还是比较麻烦。手工分表也是一个解决方法，手工分表还有一个好处是可以将表分布到不同的服务器中，实现分布式存储。但是手工分表要求应用程序做相应的改写，以支持从不同的表中来存取数据。

原创 MySQL分表实现上百万上千万记录分布存储的批量查询设计模式

 MySQL分表实现上百万上千万记录分布存储的批量查询设计模式Tim http://hi.baidu.com/jabber/blog/category/Mysql我们知道可以将一个海量记录的 MySQL 大表根据主键、时间字段，条件字段等分成若干个表甚至保存在若干服务器中。唯一的问题就是跨服务器批量查询麻烦，只能通过应用程序来解决。谈谈在Java中的解决思路。其他语言原理类似。这里说的分表不是 M

原创 通过分区（Partition）提升MySQL性能

 通过分区（Partition）提升MySQL性能                ——MySQL5.1新特性翻译系列 俺对SQL语句是影响数据库驱动系统性能的第一要素的观点有点质疑。其实在那时我在文章中就坚信数据库的物理设计在对高级数据库的性能影响上远比其他因素重要。同时俺还给大家看了Oracle的研究，他们解释了为什么拙劣的物理设计是数据库停机（无论是有计划的还是没计划的）背后的主要

原创 如何使用"MySQL-Proxy"实现读写分离

 MySQL-Proxy处在MySQL数据库客户和服务端之间的程序，它支持嵌入性脚本语言Lua。这个代理可以用来分析、监控和变换（transform）通信数据，它支持非常广泛的使用场景：  ·负载平衡和故障转移处理 ·查询分析和日志 ·SQL宏（SQL macros） ·查询重写（query rewriting） ·执行shell命令 MySQL Proxy最强大的

原创 MySQL Master-Slave架构下使用MMM的必要性

 MySQL本身没有提供replication failover的解决方案(见How can I use replication to provide redundancy or high availability?) 如何使Replication方案具有HA？ 答案是MMM(MySQL Master-Master Replication Manager) MMM对MySQL Master-Sla

原创 400万pv/日.apache/php/apc/memcache/awstats/jpgraph/cronlog

 折腾了几个月的系统上线了,稳定的跑了一段时间之后，随着周边系统的陆续接入,日访问量达到了400万.这个系统的特点是用户数和并发数比较稳定,并非有几百万离散的用户,而是固定的几百台客户端不停的刷.查询量高,写入量占1/10左右.通过日志分析,其中简单查询(不查询db)占1/3,可被db 稳定cache的查询占1/4,其余1/3强是针对大表的查询和改写操作.几乎没有静态页面. 基本构架是

原创 memcachedb:编译以及安装

 memcachedb跟memcache一样，网络socket数据处理依赖于libevent，所以，在安装之前需要下载三个安装包，即libevent、Berkeley Db以及memcachedb。Libevent 下载页面：http://monkey.org/~provos/libevent/ ，下载最新稳定版本就行。Berkeley Db下载页面：http://www.oracle.c

原创 用rsync实现网站镜像和备份

 　简介　　对于选择Linux 作为应用平台的的中小型企业或网站来说，往往面临如何实现数据远程备份或者网站镜象的问题，虽然有商业化的备份和镜象产品可供选择，但这些产品的价格往往过于昂贵。因此如何利用自由软件高效实现远程备份和网站镜象就成为一个值得讨论的话题。　　通过网络进行远程数据备份或者网站镜象的最简单的方法就是使用wget，但是这种方式每次都需要将所有数据都重新在网络上传输一遍，而不考虑哪些文

原创 使用Linux的rsync命令实现：多服务器镜像同步

 实现功能：当用户在本地客户端某目录内建立、修改、删除目录或文件、修改目录或文件的属性，只要执行相同的shell脚本，rsync就会自动找出有改动或删除的数据，将其传送到服务器上，使服务器端某目录内的数据跟本地客户端某目录内的数据保持一致。　　★方式一：　　一、服务器端（例：10.0.0.1*）：　　1、创建用户和组groupadd www -g 48useradd -u 48 -g www

原创 我所熟悉的网站负载均衡技术

 DNS轮循　　DNS轮循是指将相同的域名解释到不同的IP，随机使用其中某台主机的技术。但其具有明显的缺点：一旦某个服务器出现故障，即使及时修改了DNS设置，还是要等待足够的时间（刷新时间）才能发挥作用，在此期间，保存了故障服务器地址的客户计算机将不能正常访问服务器。DNS负载均衡采用的是简单的轮循负载算法，不能区分服务器的差异，不能反映服务器的当前运行状态，不能做到为性能较好的服务器多分配请求，

原创 修改Linux内核参数，减少TCP连接中的TIME-WAIT sockets

 　　新增的一组Apache服务器上线以来，我用netstat -an命令发现服务器中有大量状态为TIME-WAIT的TCP连接，于是用/sbin/sysctl -a查看了一下Linux的各项内核参数，并翻阅有关资料，决定修改其中的两项参数，以达到减少TCP连接中TIME-WAIT sockets的目的。　　vi /etc/sysctl.conf　　编辑/etc/sysctl.conf文件，增加三

原创 查看Apache并发请求数及其TCP连接状态

 这两天搭建了一组Apache服务器，每台服务器4G内存，采用的是prefork模式，一开始设置的连接数太少了，需要较长的时间去响应用户的请求，后来修改了一下Apache 2.0.59的配置文件httpd.conf：引用# prefork MPM# StartServers: number of server processes to start# MinSpareServers: m

原创 F5 BIG-IP负载均衡器配置实例与Web管理界面体验

 前言：最近一直在对比测试F5 BIG-IP和Citrix NetScaler负载均衡器的各项性能，于是写下此篇文章，记录F5 BIG-IP的常见应用配置方法。　　目前，许多厂商推出了专用于平衡服务器负载的负载均衡器，如F5 Network公司的BIG-IP，Citrix公司的NetScaler。F5 BIG-IP LTM 的官方名称叫做本地流量管理器，可以做4-7层负载均衡，具有负载均衡、应用交

原创 利用NetScaler和自行编写的健康检查脚本，完美解决多台MySQL Slave数据库的负载均衡

 Citrix NetScaler是一款不错的4-7层硬件负载均衡交换机，市场占有率仅次于F5 BIG-IP，位居第二。NetScaler 8.0是美国思杰系统有限公司（Citrix Systems, Inc）正式推出的最新版本NetScaler产品系列。　　从我的实际测试来看，NetScaler 8.0在七层负载均衡方面，性能和功能都要比F5 BIG-IP强。　　NetScaler 8.0的负载

原创 使用Google的开源TCMalloc库，提高MySQL在高并发情况下的性能

 [文章作者：张宴 本文版本：v1.1 最后修改：2008.06.02 转载请注明出自：http://blog.s135.com]　　TCMalloc（Thread-Caching Malloc）是google开发的开源工具──“google-perftools”中的成员。与标准的glibc库的malloc相比，TCMalloc在内存的分配上效率和速度要高得多，可以在很大程度上提高MySQL服务器

转载 Nginx 0.6.31 + PHP 5.2.6（FastCGI）搭建胜过Apache十倍的Web服务器（第3版）[

 前言：本文是我撰写的关于搭建“Nginx + PHP（FastCGI）”Web服务器的第3篇文章，也是Nginx 0.6系列版本成为稳定版后的第一篇文章，安装、配置方式与以往略有不同，并增加了一些在生产环境运行中不断修改、调整，总结出的配置上的优化。　　链接：《2007年9月的第1版》、《2007年12月的第2版》　　　　Nginx ("engine x") 是一个高性能的 HTTP 和反向代理

原创 使用Nginx作为Web服务器的国内网站

 Nginx 超越Apache的高性能和稳定性，使得国内使用 Nginx 作为 Web 服务器的网站也越来越多，其中有新浪、网易、腾讯等门户网站，六间房、酷6等视频分享网站，Discuz!、水木社区等知名论坛，豆瓣、YUPOO等新兴Web 2.0网站。　　Nginx 在国内的应用正在不断发展壮大！　　一、使用 Nginx 运行 PHP(FastCGI) 程序的网站：　　1、六间房视频（http:/

原创 Linux服务器系统监控框架与MSN、E-mail、手机短信报警的实现

 最近，在我原有的“Linux服务器系统监控程序”基础上，完善了HTTP、TCP、MySQL主动监控与MSN、E-mail、手机短信报警。监控程序以shell和PHP程序编写，以下为主要框架与部分代码：　　一、系统监控接口程序（interface.php）具有的报警方式　　１、MSN实时报警　　①、监控程序每次检测到故障存在、或者故障恢复，都会发送短消息到管理员的MSN。　　　　　　发送MSN短消

原创 管理者心目中优秀员工的标准

 要了解管理者心目中优秀员工的标准，就必须了解管理者的工作职责。就像要知道妻子心目中模范丈夫的标准，就必须了解妻子的需求是什么，她要什么，老婆要花钱，当然对丈夫的要求就必须能赚钱。       管理者的工作职责通常包括：团队管理、资源管理和拿指标。       管理者的职责之一：团队的管理。       1、找最出色的人。比自己优秀。和自己有相同的展望和价值观。