linux下nohup日志输出过大问题解决方案

本文介绍如何通过切分NoHup命令产生的日志文件来有效管理日志的增长,包括定时切分日志文件及清空原日志的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

   最近在一hadoop测试集群运行一个spark streaming程序,然后使用nohup ./execute.sh & 执行让程序后台运行,才几天日志就上G了,如果有问题想要查看日志,显然打开文件是一件很麻烦的事,于是我想办法通过减小文件大小:

  1、nohup命令解释:

  a、语法:nohup [command] [args] [&]

  b、说明:nohup 命令运行由 Command 参数和任何相关的 Arg 参数指定的命令,忽略所有挂断信号。在注销后使用 nohup 命令运行后台中的程序。要运行后台中的 nohup 命令,添加 & ( 表示“and”的符号)到命令的尾部,如果不指定重定向,则日志默认输出到当前目录下nohup.out文件中,

  一般提交如 :nohup ./execute.sh &  这样日志或输出当前运行目下.nohup.out中

  重定向: nohup ./execute.sh >  /home/xxx/log.log 2>&1 & :这样日志会重定向到指定目录下

 2 、切分nohup.out,同时不让它无限增长

 我这里用的一般提交命令:nohup ./execute.sh &,这样在当前目录就有nohup.out文件了,这时候可以想办法定时将nohup.out切分成,多个小文件,但同时又要使nohup.out不会无限增长下去(一般情况下是程序不能中断的):

    a、每天(根据需要设置时间),定时切分前一天的日志,(比如每天大概1g,那么可以么次切分100m左右),

    b、切分完后将nohup.out文件情况,保证新的输出日志会不停的继续输出到nohup.out

  以上在shell中

  current_date=`date -d "-1 day" "+%Y%m%d"`

   split  -b 65535000 -d -a 4  nohup.out  ./log/log_${current_date}_   这里使用split命令,将nouhup文件按指定大小切分(65535000b 大概60多M吧,可以自定义大小 ),并分成指定格式(-d -a 4以4位数字形式为后缀以从0000开始,具体可以百度split命令用法),最终输出格式为log_20160610_0001

  cat /dev/null > nohup.out  (该命令会瞬间清空nohup.out文件,后续会继续写该文件),将日志定向到/dev/null中

使用重定向输出一样可以这样,只不过换成重定向的文件名即可

将这些命令定义在一个shell文件每天定时运行即可,这样每天日志会被分成若干份,排查也方便,而且如果日志积压过大的话。可以定时删除历史的日志,保留近几天即可

整体代码如下:

this_path=$(cd `dirname $0`;pwd)

cd $this_path
echo $this_path
current_date=`date -d "-1 day" "+%Y%m%d"`
echo $current_date
split -b 65535000 -d -a 4 /home/.../nohup.out   /home/.../log/log_${current_date}_

cat /dev/null > nohup.out



Linux系统中,使用`nohup`命令运行程序时,默认会生成一个名为`nohup.out`的日志文件来记录程序的标准输出和标准错误输出。当用户尝试清空该日志文件时,有时会发现除了原来的`nohup.out`外,还会出现另一个同名文件或者分割后的文件,这可能是由于以下原因造成的: ### 原因分析 1. **程序仍在运行并持续写入日志** 如果在清空`nohup.out`时,相关的进程仍在运行,并且继续向该文件写入数据,那么即使你删除或清空了`nohup.out`,操作系统并不会立即释放磁盘空间,因为文件句柄仍被进程占用。此时,若你创建了一个新的`nohup.out`文件,可能会造成两个“相同”文件的存在(实际上是一个文件的两个链接)[^3]。 2. **脚本操作不当导致新文件生成** 在一些清理脚本中,如引用[2]中的`ClearNohup.sh`脚本,在执行过程中会对`nohup.out`进行分割和归档操作。例如使用`split`命令将文件切分为多个小文件,并以特定命名格式保存到`logs`目录中。这种情况下,`nohup-${current_date}`格式的文件会被创建出来,看起来像是生成了多个`nohup`文件[^2]。 3. **日志轮转机制触发新文件生成** 有些系统或应用程序配置了日志轮转(log rotation)机制,比如通过`logrotate`工具定期压缩、备份或删除旧日志文件。如果`nohup.out`被纳入此类机制中,也可能导致新文件的生成[^4]。 --- ### 解决方法 #### 方法一:安全清空正在写入的 `nohup.out` 如果你希望清空一个当前正在被写入的`nohup.out`文件而不影响运行中的进程,可以使用以下方式: ```bash cat /dev/null > nohup.out ``` 这种方式不会删除文件本身,而是清空其内容,保留文件句柄不变,因此不会中断正在写入的进程。 #### 方法二:避免重复创建文件 确保在清空或处理`nohup.out`之前,先停止相关进程,再进行文件操作: ```bash pkill -f logstash # 示例:终止与logstash相关的进程 rm -f nohup.out # 删除文件 touch nohup.out # 可选:重新创建空文件 ``` 这样可以防止在操作过程中产生多个版本的日志文件。 #### 方法三:使用日志分割工具替代直接清空 可以采用更专业的日志管理工具(如`logrotate`)来自动管理日志文件的小和生命周期,避免手动干预带来的问题。例如,创建一个`logrotate`配置文件: ```bash sudo vi /etc/logrotate.d/nohup ``` 内容如下: ```conf /path/to/nohup.out { daily missingok rotate 7 compress delaycompress notifempty create 644 user group } ``` 此配置每天检查一次`nohup.out`,最多保留7个历史版本,并对其进行压缩管理。 #### 方法四:优化定时任务脚本逻辑 参考引用[2]中的脚本,在编写清理脚本时应确保逻辑严谨,例如在执行分割前检查文件是否存在,分割后及时清理旧文件,并避免并发执行导致冲突。 --- ###
评论 13
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值