pestd-CSDN博客

转载 Linux 快速删除大量小文件方法

当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用，因为要等待很长一段时间。在这种情况之下我们可以使用linux系统命令rsync来巧妙的处理。rsync实际上用的是替换原理，处理数十万个文件也是秒删。 1. rsync安装，有些系统默认安装有该命令 ubuntu系统：sudo apt-get install rsync fedora 系

2013-04-04 10:23:30 559

转载 Ubuntu10下MySQL搭建Amoeba_基础

http://www.cnblogs.com/gaizai/archive/2012/04/09/2439477.html 一、背景知识 Amoeba 是阿里巴巴的技术陈思儒开始的一个开源项目，它是分布式数据库Proxy解决方案。Amoeba框架是基于Java SE 1.5开发的，在安装Amoeba之前需要先安装Java环境。经验证，Amoeba在Java SE 1.5和Java S

2013-04-02 09:39:15 530

转载 Redis 的安装配置介绍

redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类keyvalue存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。问题是这个项目还很新，可能还不足够稳定，而且没有在实际的一些大型系统应用的实例。此外，缺乏mc中批量get也是比较大的问题，始终批量获取跟多次获

2013-04-02 09:35:32 404

转载 Instagram 5位传奇工程师背后的技术揭秘

http://www.csdn.net/article/2013-03-28/2814698-The-technologie-%20behind-Instagram Instagram是一家基于iOS和Android的社交图片照片分享应用开发商。凭借着独特的运营理念，自2010年3月成立以来，短短一年的时间就吸引了1400万用户。而后随着手机相机改动、图像处理升级、与Facebook等社交灵

2013-03-29 16:02:17 676

转载 cp自动创建层级结构的例子

http://blog.chinaunix.net/uid-9525959-id-2303690.html 一个拷贝命令的技巧，不仅拷贝文件，而且拷贝目录结构。记录下来。 *拷贝的时候，自动创建参数中源文件的路径： #cp --parents parentdir1/parentdir2/sourcefile destdir/ 这样拷贝的时候，会在目标路径中创建源文件参数

2013-01-31 09:37:09 716

转载 Redis 的安装配置介绍

redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类keyvalue存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。问题是这个项目还很新，可能还不足够稳定，而且没有在实际的一些大型系统应用的实例。此外，缺乏mc中批量get也是比较大的问题，始终批量获取跟多次获

2013-01-29 11:13:47 268

转载使用ngx_lua构建高并发应用（2）

在之前的文章中，已经介绍了ngx_lua的一些基本介绍，这篇文章主要着重讨论一下如何通过ngx_lua同后端的memcached、redis进行非阻塞通信。 1. Memcached 在Nginx中访问Memcached需要模块的支持，这里选用HttpMemcModule，这个模块可以与后端的Memcached进行非阻塞的通信。我们知道官方提供了Memcached，这个模块只支

2013-01-22 09:50:49 924

转载使用ngx_lua构建高并发应用（1）

http://blog.csdn.net/chosen0ne/article/details/7304192 一. 概述 Nginx是一个高性能，支持高并发的，轻量级的web服务器。目前，Apache依然web服务器中的老大，但是在全球前1000大的web服务器中，Nginx的份额为22.4%。Nginx采用模块化的架构，官方版本的Nginx中大部分功能都是通过模块方式提供

2013-01-22 09:49:44 2303

转载 jedis的publish/subscribe

首先使用redis客户端来进行publish与subscribe的功能是否能够正常运行。打开redis服务器 [root@localhost ~]# redis-server /opt/redis-2.4.10/redis.conf [7719] 16 Apr 11:37:22 # Warning: 32 bit instance detected but no memory limit

2013-01-10 16:32:09 5137 1

转载使用memc-nginx和srcache-nginx模块构建高效透明的缓存机制

http://www.codinglabs.org/html/nginx-memc-and-srcache.html 为了提高性能，几乎所有互联网应用都有缓存机制，其中Memcache是使用非常广泛的一个分布式缓存系统。众所周知，LAMP是非常经典的Web架构方式，但是随着Nginx的成熟，越来越多的系统开始转型为LNMP（Linux+Nginx+MySQL+PHP with fpm），

2013-01-10 11:59:45 1850

转载 Linux Crontab 定时任务命令详解

http://blog.csdn.net/tianlesoftware/article/details/5315039 一. Crontab 介绍 crontab命令的功能是在一定的时间间隔调度一些命令的执行。 1.1 /etc/crontab 文件在/etc目录下有一个crontab文件，这里存放有系统运行的一些调度程序。每个用户

2012-12-27 12:02:15 327

转载获取进程在哪个CPU上运行

在多核环境下，要监测指定进程在哪个核上运行，可以使用如下命令 ps命令的输出格式可以通过-o参数定制，可以使用如下命令显示进程所对应的执行CPU： # ps -eo pid,args,psr 参数的含义： pid - 进程ID args - 该进程执行时传入的命令行参数 psr - 分配给进程的CPU ------------- 注意：pid,args,psr

2012-12-27 11:57:51 466

转载 iostat介绍

1．磁盘I/O性能监控命令 1)iostat命令 iostat 命令主要通过观察物理磁盘的活动时间以及他们的平均传输速度，监控系统输入 / 输出设备负载。根据 iostat 命令产生的报告，用户可确定一个系统配置是否平衡，并据此在物理磁盘与适配器之间更好地平衡输入 / 输出负载。iostat 工具的主要目的是通过监控磁盘的利用率，而探测到系统中的 I/O 瓶颈。不同操作系统命令格式输出

2012-12-27 11:55:46 472

转载 Mtr(My traceroute) 使用简介

http://www.fastcache.com.cn/Download_Center/MtrMy-traceroute-ShiYongJianGe.html MTR简介 Mtr(My traceroute)是一个把ping和traceroute并入一个程序的网络诊断工具。Mtr提供了两个界面：一个ncurses界面，对从一个 telnet会话中使用MTR有用；还有一个GTK+

2012-12-27 11:54:26 2562

转载减少Linux服务器过多的TIME_WAIT

TIME_WAIT状态的意义：客户端与服务器端建立TCP/IP连接后关闭SOCKET后，服务器端连接的端口状态为TIME_WAIT 是不是所有执行主动关闭的socket都会进入TIME_WAIT状态呢？有没有什么情况使主动关闭的socket直接进入CLOSED状态呢？主动关闭的一方在发送最后一个 ack 后就会进入 TIME_WAIT 状态停留2MSL（max segmen

2012-12-07 00:57:11 410

转载 wget手册 wget命令使用方法

用wget下载一个目录，例如网站的 yourdir wget -U “Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1)” -r -p -k -np -Pmydir -nc -o down.log http://www.yourdomain.com/yourdir/index.html 如果要想下载整个网站，最好去除-np参数。

2012-12-07 00:51:59 386

转载 Ubuntu下crontab命令的用法

cron是一个Linux下的后台进程，用来定期的执行一些任务。因为我用的是Ubuntu，所以这篇文章中的所有命令也只能保证在Ubuntu下有效，但其他系统应该也差不多。想要让cron执行你指定的任务，首先就要编辑crontab文件。crontab是一个文本文件，用来存放你要运行的命令。你可以以下命令 Shell代码 crontab -e 来打

2012-11-07 21:57:50 293

转载 nginx配置详解

user nginx ; #用户 worker_processes 8; #工作进程，根据硬件调整，大于等于cpu核数 error_log logs/nginx_error.log crit; #错误日志 pid logs/nginx.pid; #pid放置的位置 work

2012-11-04 10:37:40 335

转载 nginx:accept() failed (24: Too many open files)解决方法

有一台服务器访问量非常高，使用的是nginx ，错误日志不停报以下错误： 2010/05/26 08:53:49 [alert] 13576#0: accept() failed (24: Too many open files) 2010/05/26 08:53:49 [alert] 13576#0: accept() failed (24: Too many open files) 20

2012-10-20 01:14:48 3367

转载 php的memcached客户端memcached

http://www.jb51.net/article/27368.htm 之前在安装memcache时有提到memcached客户端是叫memcache，其实还有一个基于libmemcached的客户端叫memcached，据说性能更好，功能也更多。 memcache的官方主页：http://pecl.php.net/package/memcache memcached的官

2012-10-16 00:35:43 540

转载 memcache服务器端参数说明

/usr/local/webserver/memcached/bin/memcached -d -m 512 -u root -l 192.168.0.1 -p 11211 -c 512 -P /usr/local/webserver/memcached/memcached.pid -d选项是启动一个守护进程， -m 是分配给Memcache使用的内存数量，单位是MB，我这里是512MB，

2012-10-14 01:14:29 375

转载 Centos安装Memcache

Memcache概述官方 Memcache是一个高性能的分布式的内存对象缓存系统,通过在内存里维护一个统一的巨大的hash表,它能够用来存储各种格式的数据.简单的说就是将数据调用到内存中，然后从内存中读取，从而大大提高读取速度。 +个人理解 1.它是基于C语言的Libevent库进行开发的 2.Memcache是一款C/S软件,这款软件是维护内存的. 3.

2012-10-14 01:13:41 443

转载服务器出现kernel: TCP: time wait bucket table overflow解决

http://blog.sina.com.cn/s/blog_69cdee7f0100yowt.html #一台Nginx+php-fcgi的服务器做了负载均衡，在主控端发现一直在报错： viewsourceprint? 01 #----------------------------引用文字-开始----------------------

2012-10-14 01:10:37 11229

转载 nginx 统计日志访问ip个数

http://blog.sina.com.cn/s/blog_6ede856401018r6j.html nginx 统计日志ip个数 cat img.log | awk '{ips[$1]+=1} END{for(ip inips) print ips[ip],ip}' | sort-nr 。。。。 //查看3点-6点之间的Ip访问个数 grep "2012:0[3-

2012-10-14 01:02:41 1159

转载通过stats命令分析Memcached的内部状态

http://blog.csdn.net/chuan122345/article/details/5122133 Memcached有个stats命令，通过它可以查看Memcached服务的许多状态信息。使用方法如下：先在命令行直接输入telnet 主机名端口号，连接到memcached服务器，然后再连接成功后，输入stats 命令，即可显示当前memcached服务的状态信息。比如在我

2012-10-14 00:59:10 450

转载 PHP根据文件头检测文件类型

http://www.nowamagic.net/librarys/veda/detail/836 文件签名一般都在文件的头部，如果你用十六进制方式查看文件，你就可以看到文件的一些签名信息。如用uestudio以十六进制方式查看zip格式的文件，其文件内容头部有50 4B 03 04这样的十六进制信息。同理jpg文件状况有FF D8 FF E0 xx xx 4A 46这样的十六进制信息，其实

2012-10-14 00:35:10 2032

转载 find到带空格文件名用xargs处理的技巧

http://blog.csdn.net/ice1976/article/details/3191734 find和xargs是最好的组合，可以说是linux shell下的瑞士军刀，用xargs配合find，比直接用find的-exec参数，速度更快，用法也更直观。基本的用法比如： find ./ -name '*.bak' | xargs rm -rf 一般情况，上面这

2012-10-10 15:32:44 543

转载 php 读取文件头部两个字节判断文件的实际类型

function checkFileType($fileName){ $file = fopen($fileName, "rb"); $bin = fread($file, 2); //只读2字节 fclose($file); $strInfo = @unpack("

2012-10-02 17:50:39 665

转载设置linux的”最大打开文件数量

http://freewind.me/blog/20110922/351.html 通过ulimit -n可以看到linux”最大打开文件数量”的默认值是1024。对于一些程序，如web服务，太小不够用。由于建立SOCKET会占用一个系统句柄，效果类似于打开了一个文件。LINUX默认的最大文件打开个数是1024（可能不同内核版本不一样），所以如果并发太多连接时就会报错。可通过下面

2012-09-14 09:25:56 468

转载 Hash魔法：一致性 hash 算法

http://www.nowamagic.net/librarys/veda/detail/1336 consistent hashing 一致性 hash 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出，目前在 cache 系统中应用越来越广泛。基本场景比如你有 N 个 cache 服务器（后面简称 cache

2012-09-11 11:02:35 352

转载连接远程mysql不成功的解决

今天在测试通过JAVA程序连接远程数据的总是连接不上。开始以为是防火墙的原因，关闭防火墙后已然连接不上。后经过telnet ip地址3306测试发现，已经能够通信，不是防火墙原因但telnet会提示错误，错误信息如下： Host MYSQL服务器地址 is not allowed toconnect to this MySQL serverConnection closed by f

2012-08-18 15:26:50 594

转载 php 5.3.3 中 php-fpm 的重启、终止操作命令

php 5.3.3 源码中已经内嵌了 php-fpm，不用象以前的php版本一样专门打补丁了，只需要在configure的时候添加编译参数即可。关于php-fpm的编译参数有 –enable-fpm –with-fpm-user=www –with-fpm-group=www –with-libevent-dir=libevent位置。但是，php 5.3.3 下的php-fpm 不再支持

2012-08-15 11:48:45 956

转载从软件生命周期说项目经理工作职责与流程

一、需求分析需求分析是对用户的业务活动进行分析，确定系统的目的、范围、定义和功能，明确在用户的业务环境中软件系统应该"做什么"。只有在确定了客户需求后，知道要“做什么”，才能够分析和寻求系统的解决方法，开展后续的工作，所以需求分析是软件工程中的一个关键过程。这一步骤要产生用户需求说明书，这个说明书既是给用户看的也是给开发人员看的，可以让用户更加确定自己的需求，让开发人员

2012-08-09 13:59:30 660

转载 Centos6 安装后优化

[root@server ~]# ntsysv 预设开启及建议开启的服务列表服务名称建议说明 acpid 停用电源进阶设定 anacron 需求执行在 crontab 设定的时间没有执行到的工作

2012-08-02 10:25:49 461

转载提高IO性能（只需要设置 noatime）

http://hi.baidu.com/airzhutao/item/648b82bb5dcfb1d684dd79d2 相信对性能、优化这些关键字有兴趣的朋友都知道在 Linux 下面挂载文件系统的时候设置 noatime 可以显著提高文件系统的性能。默认情况下，Linux ext2/ext3 文件系统在文件被访问、创建、修改等的时候记录下了文件的一些时间戳，比如：文件创建时间、最近一次

2012-08-02 09:32:53 670

转载关于source /etc/profile命令

方法1：让/etc/profile文件修改后立即生效,可以使用如下命令: # . /etc/profile 注意: . 和 /etc/profile 有空格方法2：让/etc/profile文件修改后立即生效 ,可以使用如下命令: # source /etc/profile

2012-07-27 10:52:28 978

转载 error while loading shared libraries的解決方法

行程式時，如此遇到像下列這種錯誤： ./tests: error while loading shared libraries: xxx.so.0:cannot open shared object file: No such file or directory 那就表示系統不知道xxx.so 放在哪個目錄下。這個時候就要在/etc/ld.so.conf中加入xxx.so

2012-07-19 13:41:14 272

转载让PHP更快的提供文件下载

http://www.laruence.com/2012/05/02/2613.html 　　　一般来说, 我们可以通过直接让URL指向一个位于Document Root下面的文件, 来引导用户下载文件. 　　但是, 这样做, 就没办法做一些统计, 权限检查, 等等的工作. 于是, 很多时候, 我们采用让PHP来做转发, 为用户提供文件下载. 　　　　$file = "/

2012-07-02 13:14:34 414

转载新创网站这样开发才够快

我主要是想阐述以前在T客邦的经验方法。T客邦在一年半里面，就从台湾 Alexa 400 名以外，冲进台湾 Alexa 100 名内。这一年半时间技术团队开发出了四个大网站，十数个子网站，和背后一群深厚的基础建设（HA， backup， PV stat， advertising system…etc.）。我是一个软件工程师，过去六年我都在开发网站。在新创公司里，速度节省时间、时间就是金钱、金钱就

2012-06-28 17:59:21 1052

转载 php-fpm启动不起来，php-fpm无法启动的一种情况

天碰了一个很奇怪的问题，平时好好的php-fpm修改了一个参数后，突然启动不起来了，试着把参数还原、甚至用备份的配置文件还原都没办法启动php，而且不给任务启动错误的提示，纳闷！！！后来上网找了个资料：看看php-fpm的错误日志有多大，超过2G，就会启动不起来删除日志后正常启动问题分析：FastCGI调用的是fopen方式去读写日志文件，而fopen不支持2G以上文件，所以后续的工作

2012-06-28 12:38:31 11396

空空如也

空空如也