linux crontab排查问题,Linux_crontab 记一次问题排查

最近nginx访问常常出现502， 甚至还出现进程没法建立的问题，首先是怀疑Linux链接数设置有问题， ulimit -u查看链接数为2w，应该不算低，后来就给调到的6w；nginx

查下Linux上的当前的线程数，web

pstree -p| wc -lpost

存在七千多，怎么会呢？spa

因而pstree -p | more查看，出现不少下面的进程：线程

|-crond(82160)---sendmail(82491)---postdrop(82504)进程

||-crond(82647)---sendmail(83087)---postdrop(83108)crontab

||-crond(83150)---sendmail(83673)---postdrop(83691)it

||-crond(83206)---sendmail(83528)---postdrop(83542)io

||-crond(83266)---sendmail(83586)---postdrop(83604)class

||-crond(84205)---sendmail(84734)---postdrop(84750)

||-crond(85167)---sendmail(85703)---postdrop(85723)

||-crond(85310)---sendmail(85637)---postdrop(85651)

||-crond(85338)---sendmail(85890)---postdrop(85905)

||-crond(85842)---sendmail(86373)---postdrop(86387)

||-crond(85894)---sendmail(86066)---postdrop(86079)

||-crond(86075)---sendmail(86445)---postdrop(86460)

||-crond(86611)---sendmail(87142)---postdrop(87161)

||-crond(86626)---sendmail(86959)---postdrop(86973)

||-crond(86988)---sendmail(87518)---postdrop(87536)

||-crond(87430)---sendmail(87962)---postdrop(87983)

||-crond(87492)---sendmail(87814)---postdrop(87827)

||-crond(87547)---sendmail(87892)---postdrop(87907)

||-crond(88010)---sendmail(88333)---postdrop(88348)

||-crond(88308)---sendmail(88638)---postdrop(88652)

||-crond(88531)---sendmail(88863)---postdrop(88876)

ps查看一下

pcp 345931170 19:55 ?00:00:00 /usr/sbin/sendmail-FCronDaemon -i -odi -oem -oi -t -f pcp

pcp 860478480 19:58 ?00:00:00 /usr/sbin/sendmail-FCronDaemon -i -odi -oem -oi -t -f pcp

root 36239 339600 20:20 pts/100:00:00 grep --color=auto sendmail

pcp40626 402960 19:25 ?00:00:00 /usr/sbin/sendmail-FCronDaemon -i -odi -oem -oi -t -f pcp

pcp43402 430700 18:25 ?00:00:00 /usr/sbin/sendmail-FCronDaemon -i -odi -oem -oi -t -f pcp

pcp46681 461510 18:28 ?00:00:00 /usr/sbin/sendmail-FCronDaemon -i -odi -oem -oi -t -f pcp

pcp49573 490400 19:28 ?00:00:00 /usr/sbin/sendmail-FCronDaemon -i -odi -oem -oi -t -f pcp

pcp95832 954930 18:55 ?00:00:00 /usr/sbin/sendmail-FCronDaemon -i -odi -oem -oi -t -f pcp

pcp99052 985170 18:58 ?00:00:00 /usr/sbin/sendmail-FCronDaemon -i -odi -oem -oi -t -f pcp

果真不少sendmail的进程(为啥user是pcp？ )，怀疑是crontab执行的时候起来的，先把进程kill了再说

ps -ef | grep '/usr/sbin/postdrop' | awk '{print $2}' | xargs kill -9

在crontab -e中开始加上MAILTO=""，在/etc/crontab中设置MAILTO=""

，继续观察，原本觉得问题解决了，其实并无。。。，过来一阵子又出现sendmail的进程，进程查。

查到/etc/cron.d/下面的文件(crontab会加载里面的文件)，恰好里面有个pcp-pmie,pcp-pmlogger,怀疑是这个问题，打开这两个文件一看：

# daily processing of pmie logs (with compression enabled)

08 0***pcp/usr/libexec/pcp/bin/pmie_daily -X xz -x 3

# every 30 minutes, check pmie instances are running

28,58****pcp/usr/libexec/pcp/bin/pmie_check -C

crontab并无加 &>/dev/null，就会触发sendmail，问题定位到了，将pcp开头的两个文件的crontab命令加上&>/dev/null

以下：

# daily processing of pmie logs (with compression enabled)

08 0***pcp/usr/libexec/pcp/bin/pmie_daily -X xz -x 3 &>/dev/null

# every 30 minutes, check pmie instances are running

28,58****pcp/usr/libexec/pcp/bin/pmie_check -C &>/dev/null

再继续观察，maillog已经没有发送了(目前是20:30,编辑时间为20:20)

tail -f/var/log/maillog

Apr9 20:20:12 data-monitor-web00 postfix/postdrop[40639]: warning: mail_queue_enter: create file maildrop/244959.40639: Permission denied

Apr9 20:20:12 data-monitor-web00 postfix/postdrop[95845]: warning: mail_queue_enter: create file maildrop/402015.95845: Permission denied

Apr9 20:20:21 data-monitor-web00 postfix/postdrop[43415]: warning: mail_queue_enter: create file maildrop/391573.43415: Permission denied

Apr9 20:20:21 data-monitor-web00 postfix/postdrop[99072]: warning: mail_queue_enter: create file maildrop/439228.99072: Permission denied