企鹅漫步

今天用户突然登陆不进去，原来以为是session出了问题。结果是磁盘写满了。文件系统      容量  已用  可用 已用%% 挂载点/dev/xvda1             20G   20G  0G  100% /以后得小心

公司电影网站:scrapy抓取+coreseek搜索架构初步如下:1.安装scrapy:

centos6.2变更了portmap服务为rpcbind，在使用nfs时这点与centos5不同，下面配置一个nfs系统，用来使局域网内的所有用户均可访问该目录，可将该目录配置成yum源，供内网机器安装软件。yum -y install rpcbind nfs*配置nfs服务端/data_disk/web/images 42.122.14.*(rw,no_root_squash,sy

1、查看数据盘在没有分区和格式化数据盘之前，使用 “df –h”命令，是无法看到数据盘的，可以使用“fdisk -l”命令查看。如下图：友情提示：若您执行fdisk -l命令，发现没有 /dev/xvdb 标明您的云服务无数据盘，那么您无需进行挂载，此时该教程对您不适用 2、 对数据盘进行分区执行“fdisk /dev/xvdb”命令，对数据盘进行分区；

5.Proxy缓冲不够如果你使用了Proxying，请把proxy_buffer_size 16k;proxy_buffers 4 16k;这几项的值调高来源：http://www.ruby-forum.com/topic/1690406.https转发配置错误正确的配置方法server_name www.mydomain.com;location

1054  whereis libjpeg 1055  cp -frp /usr/lib64/libjpeg.* /usr/lib/ 1056  cp -frp /usr/lib64/libpng* /usr/lib/

数值的单位是m。Mem开头的行：total是指内存总数。比如这台机器8G内存，实际上已经扣除掉了作为显存的部分。used是指操作系统已经使用的内存数。这部分既包括操作系统本身使用的部分，也包括应用程序已经使用的部分，还包括缓存的部分。free是指操作系统还没有使用的内存数。我们通常看到这部分比较小。shared已经废弃不用，总是显示0。buffe

Centos Linux下查看服务器信息的方法经常有客户咨询云志互联查看服务器一些硬件配置的方法，下面将以Centos为例，将各种信息的查看方法与用户分享。本教程使用于Centos,Debian等各Linux发行版1 查看服务器CPU型号more /proc/cpuinfo | grep "model name"grep "model name" /proc/cpuinfogr

由于之前的数据库没有转移，所以把机器搬过来直接转移了，悲剧！mount 挂载u盘 出现这样的错误 contos you must specify the filesystem type需要格式u盘mkfs.exts /dev/sdb1，以root用户登陆   用fdisk -l 看看U盘的设备   U盘是sdb2，确定在 目录 /mnt 下建立了 文件夹 /

序号任务命令组合1删除0字节文件find . -type f -size 0 -exec rm -rf {} \;find . type f -size 0 -delete2查看进程，按内存从大到小排列ps -e -o “%C : %p : %z : %a”|sort -k5 -nr3按cp

使用webbench做压力测试结果：经过压力测试，60秒钟最多只能接受600并发。后面nginx就会出现502报错了。是由于5m带宽给跑满了。后期还得增加带宽。

困扰了几天的问题，php脚本执行时间也不慢，fastcgi进程也还有很多，但是网站打开特别慢。原因就是网络带宽给跑满了。

zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供柔软的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成，zabbix server与可选组件zabbix agent。zabbix server可以通过SNMP，zabbix ag

sersync主要用于服务器同步，web镜像等功能。基于 boost1.41.0,inotify api,rsync command.开发。目前使用的比较多的同步解决方案是inotify-tools+rsync ，另外一个是google开源项目Openduckbill（依赖于inotify- tools），这两个都是基于脚本语言编写的。相比较上面两个项目，本项目优点是：

1.稳定性2.快速性3.安全性4.可视性

做了几天hadoop试验和测试，发现监控集群状态有点困难，比如在运行较大文件时，要查看datanode的cpu属性，也只能登陆后查看。后来在网上查了下，搜到一个叫ganglia的管理工具，决定尝试安装一下，下面是我安装的记录，我用的是yum安装(主要是安装的关联文件太多)：  一、  首先看一下ganglia的结构：    可以看到，ganglia可以通过web显示集群状态

Memcached,就不多说了,地球人都知道.　　Nginx有一个memcached_module,可以直接从后端的memached服务器中读取内容,　　直接输出.　　通过这个模块,可以极大的提升动态页面的访问速度.　　我的实践中, 曾经用这个模块快速的解决了由于代码造成的一些瓶颈问题.　　memcached可以通过upstream来从多台memcached

在前面的博文中，我讲到过利用rsync实现数据的镜像和备份，但是要实现数据的实时备份，单独靠rsync还不能实现，本文就讲述下如何实现数据的实时备份。一、rsync的优点与不足 与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等

Nginx性能优化CPU参数worker_cpu_affinity使用说明官方说明：http://wiki.nginx.org/NginxHttpMainModule#worker_cpu_affinit引用worker_cpu_affinitySyntax: worker_cpu_affinity cpumask [cpumask...]Default: noneLi

mpstat 是Multiprocessor Statistics的缩写，是实时系统监控工具。其报告与CPU的一些统计信息，这些信息存放在/proc/stat文件中。在多CPUs系统里，其不但能查看所有CPU的平均状况信息，而且能够查看特定CPU的信息。下面只介绍 mpstat与CPU相关的参数，mpstat的语法如下：mpstat [-P {|ALL}] [internal [count

一、简介Gearman是一个分发任务的程序架构，由三部分组成：Gearman client：提供gearman client API给应用程序调用。API可以使用C,PHP,PERL,MYSQL UDF等待呢个语言，它是请求的发起者。Gearman job server：将客户端的请求分发到各个gearman worker的调度者，相当于中央控制器，但它不处理具体业务逻辑。Gear

1.下载软件wget http://www.cacti.net/downloads/cacti-0.8.8b.tar.gzwget http://www.cacti.net/downloads/spine/cacti-spine-0.8.8b.tar.gzwget http://oss.oetiker.ch/rrdtool/pub/rrdtool-1.2.27.tar.gz

项目简介:本项目利用inotify与rsync对服务器进行实时同步，其中inotify用于监控文件系统事件，rsync是目前广泛使用的同步算法，其优点是只对文件不同的部分进行操作，所以其优势大大超过使用挂接文件系统的方式进行镜像同步。目前使用的比较多的同步程序版本是inotify-tools，另外一个是google开源项目Openduckbill（依赖于inotify-tools），这两个都是

由于网站使用nfs共享方式保存用户上传的图片，附件等资料，然后通过apache下载的方式供用户访问，在网站架构初期，使用这种简单的方式实现了静态资源的读写分离，但随着网站数据量的增加，图片服务器渐渐成为整个网站的短板，缘次催生了使用fastfds的想法，故而先进行一番简单的测试！FastDFS提供Java和PHP等语言的客户端API。可以到FastDFS在Google Code的项目主页

机房的选择在选择机房的时候，根据网站用户的地域分布，可以选择网通或电信机房，但更多时候，可能双线机房才是合适的。越大的城市，机房价格越贵，从成本的角度看可以在一些中小城市托管服务器，比如说北京的公司可以考虑把服务器托管在天津，廊坊等地，不是特别远，但是价格会便宜很多。带宽的大小通常老板花钱请我们架构网站的时候，会给我们提出一些目标，诸如网站每天要能承受100万PV的访问量等等。这时

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'　关于TCP状态的变迁，可以从下图形象地看出：　　　　　　状态：描述　　CLOSED：无连接是活动的或正在进行　　LISTEN：服务器在等待进入呼叫　　SYN_RECV：一个连接请求已经到达，等待确认　　SYN_SENT：应用已经开始，

1、安装pcre 、 zlib 、bzip2以pcre为例 : ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.10.tar.gztar -zxvf pcre-8.10.tar.gzcd pcre-8.10./configuremakemake install2、安装lighttpd http

如果原来已经为nginx添加模块，那么重新添加模块时，必须把原来给带上，不然就覆盖了。如下面所示：./configure --prefix=/usr/local/webserver/nginx/ --add-module=/data_disk/software/ngx_cache_purge-1.3 --add-module=/data_disk/software/fastdfs-ngin

#先安装perl-CPAN,为防止出现以下错误:yum -y install yum -y install perl-CPAN错误如下:perl /usr/lib/perl5 /usr/share/perl5 .) at Makefile.PL line 24.BEGIN failed--compilation aborted at Makefile.PL line 24.ma

ps -ef|grep httpd|wc -l命令#ps -ef|grep httpd|wc -l1388统计httpd进程数，连个请求会启动一个进程，使用于Apache服务器。表示Apache能够处理1388个并发请求，这个值Apache可根据负载情况自动调整，我这组服务器中每台的峰值曾达到过2002。netstat -nat|grep -i “80″|wc -l命令#n

pid = run/php-fpm.pidpid设置，默认在安装目录中的var/run/php-fpm.pid，建议开启error_log = log/php-fpm.log错误日志，默认在安装目录中的var/log/php-fpm.loglog_level = notice错误级别. 可用级别为: alert（必须立即处理）, error（错误情况）, warning

今天需要装一个分析nginx日志的轻量级工具goaccess，需要安装一些依赖包，缺发现无法安装。报如下错误:There was a problem importing one of the Python modulesrequired to run yum. The error leading to this problem was:   No module named

项目中发现magent进程莫名没有了，先写个shell脚本监控一下。有时间再查找原因。#!/bin/shpid=`ps -ef | grep "magent" | grep "11113" | awk '{print $2}'`if [ "$pid" == "" ];thenmagent -u root -n 51200 -l 192.168.0.1 -p 11113 -s

由于公司服务器磁盘快慢了，一天产生好几个g的日志，把原来的日志先压缩，再删除了。写了个shell脚本#!/bin/shcd /data_disk/pclog/safe/for i in {10..10}dofor j in {1..31}doif [ $i -lt 10 ];thentmp_i="0"$ielsetmp_i=$ifiif [

内容是从网络上摘抄的。内容有些多，一眼看来难免头昏脑胀，但坚持看完，相信你一定会有所收获。nginx参数：–prefix= 指向安装目录–sbin-path 指向（执行）程序文件（nginx）–conf-path= 指向配置文件（nginx.conf）–error-log-path= 指向错误日志目录–pid-path= 指向pid文件（ng

default_socket_timeout = 60         由于redis扩展也是基于php 的socket方式实现，因此该参数值同样会起作用。        找到了问题就比较好解决了：    1、直接修改php.ini，将其设置为我们想要的值（这个不推荐）    2、在我们的脚本中通过以下方式设置，这样就比较灵活，不对其他脚本产生影响

#是否以后台进程运行，默认为no，如果需要以后台进程运行则改为yesdaemonize no  #如果以后台进程运行的话，就需要指定pid，你可以在此自定义redis.pid文件的位置。pidfile /var/run/redis.pid  #接受连接的端口号，如果端口是0则redis将不会监听TCP socket连接port

电影网站第二版架构改进

varnish文件缓存工作流程Varnish 与一般服务器软件类似，分为 master 进程和 child 进程。Master 进程读入存储配置文件，调用合适的存储类型，然后创建 / 读入相应大小的缓存文件，接着 master 初始化管理该存储空间的结构体，然后 fork 并监控 child 进程。Child 进程在主线程的初始化的过程中，将前面打开的存储文件整个 mmap 到内存中，此时

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee