Day28-定时任务

最新推荐文章于 2024-05-22 02:08:08 发布

qq_14846625

最新推荐文章于 2024-05-22 02:08:08 发布

阅读量576

点赞数 9

分类专栏：老男孩77期笔记文章标签：数据库运维 linux

本文链接：https://blog.csdn.net/qq_14846625/article/details/138225729

版权

老男孩77期笔记专栏收录该内容

5 篇文章 0 订阅

订阅专栏

定时任务

定时任务的定义与解释

定时任务是指在固定的时间或周期性地执行一项任务的过程。其概念通过生活中闹钟的比喻得以形象化理解：就像闹钟在每天固定时间叫醒我们一样，计算机系统中的定时任务会在预先设定的时间自动运行程序或命令。

Linux 系统定时任务

at命令

at 是一个在 Linux 和 Unix 系统中用于安排一次性任务的命令。它允许您安排一个任务，该任务将在将来的某个特定时间执行。与 crontab 不同，crontab 用于安排周期性任务，而 at 用于安排一次性任务。

基本用法

安排任务： at [时间参数]
- 例如：at 5:30 PM tomorrow
查看已安排的任务： at -l
- 显示当前用户所有安排的任务列表。
删除已安排的任务： atrm [任务编号]
- 例如：atrm 1
查看某个任务的详细信息： at -c [任务编号]
- 例如：at -c 1

时间参数

您可以使用 now 关键字来表示当前时间。
您可以使用 + 时间 格式来表示从现在开始多少时间后执行任务。
您也可以指定具体的时间，如 HH:MM。

示例

安排任务在明天下午 5:30 执行：
```
at 5:30 PM tomorrow
```

安排任务在 2 小时后执行：

echo "Hello, World!" | at now + 2 hours

安排任务在下周三的上午 10 点执行：

echo "Hello, World!" | at 10:00 AM Wednesday next week

安排任务在 5 分钟后执行：

echo "Hello, World!" | at now + 5 minutes

当您使用 at 命令安排任务后，系统会提示您输入要执行的命令。您可以输入任何命令或脚本，然后按 Ctrl + D 来结束输入。安排的任务将被保存在 at 的 spool 目录中，通常位于 /var/spool/atjobs 或 /etc/atjobs。

请注意，at 命令依赖于 atd 服务，该服务需要在后台运行以执行安排的任务。如果您的系统没有运行 atd 服务，您可能需要启动该服务或使用 cron 作为替代方案。

crontab命令

crontab 是 Linux 系统中用于设置周期性被执行的指令的命令。它是 Unix 类操作系统中的一个工具，用于安排在预定时间执行操作。crontab 的名称来源于希腊语单词 “chronos”，意为时间。用于周期性任务，如每分钟、每小时、每天或每月执行的任务

定时任务配置文件位置及结构

定时任务的配置文件存储在 /var/spool/cron/ 目录下，以对应用户的名称命名的文件中，例如，root用户的定时任务配置文件位于 /var/spool/cron/root。
使用 Ctrl + e 或者 Vim 编辑器编辑相应的用户定时任务配置文件。

基本用法

列出当前用户的crontab文件： crontab -l
编辑当前用户的crontab文件： crontab -e
删除当前用户的crontab文件： crontab -r
列出某个用户的crontab文件： crontab -u username -l
编辑某个用户的crontab文件： crontab -u username -e
删除某个用户的crontab文件： crontab -u username -r

crontab 文件的格式

一个典型的 crontab 文件包含一系列的行，每行代表一个任务，格式如下：

* * * * * command-to-be-executed
- - - - -
| | | | |
| | | | +----- day of week (0 - 6) (Sunday=0 or 7)
| | | +------- month (1 - 12)
| | +--------- day of month (1 - 31)
| +----------- hour (0 - 23)
+------------- minute (0 - 59)

星号（*）表示“任何时间”。
问号（?）表示“不指定”。
减号（-）表示“从某个时间到另一个时间”。
逗号（,）表示“列出的值”。
斜杠（/）表示“起始时间开始触发，然后每隔固定时间触发一次”。

定时任务书写格式

格式：
```
* * * * * cmd
```
- 第1段：分钟（00~59）
- 第2段：小时（00~23）
- 第3段：日（01~31）
- 第4段：月份（01~12）
- 第5段：星期（0~7，0和7都代表星期日）

示例

每小时执行一次 command：0 * * * * command
每天的午夜 0 点执行 command：0 0 * * * command
每天的午夜 0 点和中午 12 点执行 command：0 0,12 * * * command
每周一的午夜 0 点执行 command：0 0 * * 1 command
每月的第一天和第15天的午夜 0 点执行 command：0 0 1,15 * * command

运维人员使用的用户定时任务：

用户定时任务是运维人员日常工作中最常接触到的一种，它们可以根据个人或应用程序需求定制，用来执行各种周期性任务，例如备份数据库、检查磁盘空间、运行脚本等。

应用举例：
假设在Linux环境中，运维人员设置了用户定时任务，使用crontab配置文件安排每天凌晨执行一次数据库备份，具体配置如下：

0 0 * * * /usr/local/scripts/db_backup.sh

这意味着每天零点（午夜）系统会自动执行/usr/local/scripts/db_backup.sh这个脚本，完成数据库的备份工作。同时，系统级别的日志轮询也会按期进行，比如每到周五，系统根据/etc/logrotate.conf和/etc/logrotate.d/daily的配置将过去一周的应用程序日志进行归档并创建新的日志文件，确保日志文件不会无限增长并占用大量磁盘空间。

应用方面

数据备份：由于用户在全天候时段都有可能产生新的数据（例如写博客、发送微信、使用滴滴打车等应用程序），为了确保数据完整性，系统需要在每天凌晨等固定时间段进行数据库、存储数据及各类配置文件的备份，尤其是对于PB级别的大数据量备份，手动操作不现实，利用定时任务自动化备份极为高效和必要。
统计需求：企业中，定时任务可以用于满足数据报表统计的需求，如汇总每日订单数量、销售额等业务数据，定时从数据库中抓取并生成报表，以便于管理层分析决策。
系统监控：使用cron定时任务，每隔一小时检查系统资源使用情况，如CPU和内存使用率，并将结果记录到日志文件中。

Linux系统中的定时任务和日志管理

定时任务类型：

系统定时任务：这类任务是系统级别的自动化任务，无需人工干预就能自动执行。例如，在Linux中，系统会根据预设的配置文件自动进行日志文件的轮询、清理或归档。

日志轮询与配置文件：

日志轮询机制：日志文件按照设定的时间周期（如一周）进行自动切换和更新。例如，ls -l log_message 显示的日志文件会随着日期变化自动更新内容，可能在指定日期如2030年的5月26号、5月30号等进行切换。
配置文件：Linux系统用于日志轮询的配置文件主要有两个：
- /etc/logrotate.conf：主配置文件，定义了全局的日志轮询规则。
- daily/logrotate 或类似的每日轮询配置脚本，进一步细化每天的日志处理策略。

/etc/logrotate.conf 是 Linux 系统中用于配置 logrotate 工具的默认配置文件。logrotate 是一个用于管理日志文件的系统实用程序，它可以自动压缩、删除和创建新的日志文件，以防止日志文件占用过多的磁盘空间。

以下是 /etc/logrotate.conf 文件的一些关键特性和配置选项：

全局配置选项：这些选项位于文件的顶部，并且适用于所有日志文件，除非在单个日志条目中被覆盖。
日志文件的轮转周期：可以设置为每日（daily）、每周（weekly）、每月（monthly）或者使用具体的天数（如 rotate 30 表示每 30 天）。
日志文件的保留数量：使用 rotate 选项指定在删除旧日志之前保留的压缩日志数量。
日志文件的压缩：通过 compress 选项启用日志文件的压缩。
日志文件的邮件通知：使用 mail 或 mailfirst 选项，可以将轮转的日志文件发送到指定的电子邮件地址。
日志文件的创建：使用 create 选项在轮转后创建具有指定权限和所有者的新的日志文件。
日志文件的延迟轮转：使用 delaycompress 选项可以延迟日志文件的压缩，直到轮转周期结束。
日志文件的排除：使用 exclude 选项可以排除某些日志文件不被轮转。
日志文件的轮转策略：使用 postrotate、endscript 以及 prerotate 可以定义轮转前和轮转后执行的脚本或命令。
日志文件的轮转配置：在全局配置之后，可以为特定的日志文件或日志目录设置特定的轮转规则。

一个基本的 /etc/logrotate.conf 文件示例可能如下所示：

# 全局配置
weekly
rotate 4
compress
delaycompress
missingok
notifempty
create 0640 root adm

# 针对/var/log/maillog的特定配置
/var/log/maillog {
    monthly
    create 0600 root root
    postrotate
        touch /var/log/maillog
    endscript
}

# 忽略特定目录的日志文件
/home/*/logs/* {
    ignore
    missingok
}

请注意，根据 Linux 发行版和系统管理员的配置，/etc/logrotate.conf 文件的具体内容可能会有所不同。要使配置生效，您需要保存更改，并通过重启 logrotate 服务或运行 logrotate -f /etc/logrotate.conf 命令来强制执行新的配置。

日志服务与轮询过程：

日志服务：提到的服务名为 RNCS log，可能是负责系统日志服务的守护进程，可通过Systemd管理（如systemctl命令），该服务会自动处理和轮询相关的日志文件。
轮询操作：当到达日志轮询周期时，系统会依据logrotate配置文件，通过重启日志服务（比如使用kill命令发送信号给CS log服务）来实现日志文件的切割、压缩或删除旧日志等操作。

在 Linux 系统中，“RNCS” 可能指的是 “Redundant Network Communications Server” 或者是某个特定应用程序的缩写，这取决于上下文。如果 “RNCS” 是一个应用程序或服务的名称，并且它产生日志文件，那么这些日志文件可能需要通过 logrotate 来管理。

logrotate 是一个用于自动管理日志文件的工具，以避免日志文件过大导致磁盘空间不足。如果你需要配置 logrotate 来管理 RNCS 的日志，你通常会在 /etc/logrotate.conf 或者某个子配置文件中添加相应的条目。

下面是一个如何为 RNCS 日志配置 logrotate 的示例：

# 假设 RNCS 的日志文件位于 /var/log/rncs/
/var/log/rncs/*.log {
    daily
    rotate 14
    compress
    missingok
    create 640 root adm
    postrotate
        /etc/init.d/rncs reload > /dev/null
    endscript
}

这个配置条目做了以下几件事情：

daily：每天轮转日志文件。
rotate 14：保留 14 天的日志文件。
compress：轮转的日志文件将被压缩以节省空间。
missingok：如果日志文件丢失，不会报错。
create 640 root adm：创建新的日志文件并设置权限和所有者。
postrotate：轮转后执行的脚本，这里尝试重新加载 RNCS 服务。

请注意，/etc/init.d/rncs reload > /dev/null 这一行假设 RNCS 服务有一个 reload 命令，并且可以通过 /etc/init.d/rncs 脚本来执行。你需要根据实际的 RNCS 服务启动脚本进行调整。

如果你不确定如何配置 logrotate 来管理 RNCS 的日志，或者 RNCS 并不是一个标准的 Linux 服务，你可能需要查阅 RNCS 的官方文档或联系技术支持以获得正确的配置方法。如果 RNCS 是一个内部系统或特定应用程序，那么它的日志管理方式可能会有所不同，需要根据实际情况来设置。

备份策略

定时任务的配置文件需要备份，以防意外丢失或错误修改后需要恢复。
备份方法已从原始的定时将配置文件手动同步至备份服务器转变为利用代码仓库（如Git或SVN）管理。
在现代工作流程中，配置文件和其他重要资源一起存放在代码仓库中，确保每次更新都有版本控制和可追溯性。

测试与生产环境分离

配置变更应在非生产环境的线下测试环境中进行，并经过多次验证，如办公室测试环境、IDC测试环境等。
在不同测试阶段打上标签或版本号，依次通过测试后再部署到生产环境，如先标记为“测试环境1”，再经SC测试环境测试成功后标记为“测试环境2”，最终推送至生产环境。

自动化部署与故障预防

通过严格的流程管理和代码仓库来确保生产环境的稳定性和安全性，防止因人为操作失误导致的故障。
采用定时任务自动从代码仓库获取最新配置并更新到生产环境，从而快速回滚任何错误更改。

备份实践示例

不仅备份定时任务配置文件，还强调备份重要的数据文件。
以前的做法是在备份服务器上定期拉取配置文件作为备份，而现在则是将所有配置文件和代码统一存放在版本控制系统中，这样随时可以从仓库获取最新的备份

定时任务设置与时间同步

定时任务创建与管理：
- 检查定时任务服务是否处于活跃状态：使用systemctl is-active crond或service cron status等命令确认cron服务是否正在运行。
- 编辑定时任务：通过命令crontab -e打开cron表格进行编辑，进入的是文本编辑器环境，在这里可以添加新的定时任务规则。
- 写定时任务规范：
  - 注释规范：定时任务中应包含注释，注释需清晰描述任务执行的时间、目的、执行者和为何设定此任务等信息，并建议采用英文以提高可读性。
  - 完整任务编写：例如，要每分钟向/date/oldboy/test.log文件追加一行字符串"i m i study Linux"，正确的做法应该是先创建所需的目录结构，即mkdir -p /date/oldboy/test，然后在定时任务中写入类似* * * * * echo "i m i study Linux" >> /date/oldboy/test/log的命令。
命令验证与任务实施：
- 在编写定时任务前，应在命令行下直接执行相关命令，确保其能正常工作，避免定时任务因命令错误而无法执行。
- 示例中强调了如果目标路径不存在，需要先行创建目录，不能假设系统会自动创建。
时间同步实践：
- 时间同步任务设置：针对服务器时间与互联网时间不同步的问题，老师提出了一个实践题目，让学生查找可用的时间服务器地址，并利用相应的同步命令如ntpdate或chronyd等工具获取准确的时间。
- 配置定时任务同步时间：学生需要在互联网上找到合适的时间服务器，然后将定时同步命令加入到定时任务中，确保服务器每隔5分钟与互联网时间进行同步校正。
文档中的知识点主要围绕服务器时间与互联网时间的同步以及如何通过定时任务实现周期性同步展开，具体包括以下要点：
1. 时间同步：
  - 实现服务器时间与互联网时间同步需要用到网络时间协议（NTP），需要找到可靠的互联网时间服务器地址，例如阿里云提供的NTP服务器。
2. 命令行操作：
  - 使用ntpdate命令来手动进行时间同步测试。
  - 如果环境中仅包含几十台至几百台机器，通常不需要搭建自己的NTP服务器，而是直接使用客户端命令连接公共时间服务器即可。
3. 定时任务设置：
  - 使用Linux下的cron定时任务服务来自动化时间同步，每5分钟执行一次同步命令。
  - 定时任务的配置文件通常为crontab，编辑方法是在终端输入crontab -e打开编辑器，在其中按照特定格式添加定时任务行。
  - 格式举例：*/5 * * * * ntpdate time_server_address，表示每隔5分钟执行一次与time_server_address的时间同步。
  - 标准做法是在定时任务命令后面追加重定向符号> /dev/null 2>&1，以将命令执行时的正确输出和错误输出都丢弃，避免产生不必要的日志文件占用磁盘空间。
4. 验证同步效果：
  - 手动修改系统时间为未来或者错误的时间，比如改为2030年06月09日，然后再运行时间同步命令。
  - 5分钟后检查当前系统时间是否自动恢复到了准确的互联网时间，以此作为验证时间同步功能是否正常工作的依据。
5. 操作注意事项：
  - 强调在编写和执行命令过程中，应该尽量避免手工重复输入，采用复制粘贴的方式以减少出错的可能性。
综上所述，实际应用举例说明如下：

假设我们要配置一台服务器每隔5分钟与阿里云的NTP服务器进行时间同步，可以按照以下步骤操作：
1. 首先，确保服务器已安装并启用NTP客户端服务。
2. 打开cron定时任务编辑界面：
```
crontab -e
```
3. 在编辑器中添加定时任务行：
```
*/5 * * * * ntpdate pool.ntp.org > /dev/null 2>&1
```
  （这里假设pool.ntp.org是可用的NTP服务器地址，实际应替换为阿里云提供的NTP服务器地址）
4. 保存并退出编辑器，定时任务会自动生效。
5. 为了验证配置是否成功，可临时将系统时间调整到未来某个日期，如 date -s "20300609"，等待5分钟后查看系统时间是否已自动更新为互联网时间。如果时间已恢复正常，则说明定时同步配置成功。

总结实际应用举例说明：

假设要解决如下场景问题：

场景一：创建定时任务每分钟在指定目录下记录一条学习Linux的日志信息。
步骤：
1. 创建目录 /date/oldboy/test/。
2. 打开定时任务编辑器：crontab -e。
3. 添加注释，如：# Sync Linux learning logs every minute by Old Boy since 2024-04-26 for self-learning purposes.
4. 编写定时任务规则：* * * * * echo "i m i study Linux" >> /date/oldboy/test/log
场景二：配置服务器时间与互联网时间每五分钟同步一次。
步骤：
1. 查找可靠的NTP（网络时间协议）服务器地址，如 pool.ntp.org。
2. 根据系统选择合适的同步命令，如果是Ubuntu系统，可能使用 sudo apt-get install ntp 安装NTP服务并自动配置，或者手动使用 sudo ntpdate pool.ntp.org 同步时间。
3. 在定时任务中添加每五分钟执行同步命令的规则，如：*/5 * * * * ntpdate pool.ntp.org（根据实际系统的命令来调整）。
场景三：假设我们需要每天晚上0:10自动备份 /etc/local、/etc/CRON 和 /etc/host 文件到 backup 目录，并且使用日期作为备份文件的一部分，以下是如何实现的步骤：
1. 创建备份脚本：创建一个名为 backup.sh 的脚本文件，内容如下：
```
#!/bin/bash
tar -czvf /path/to/backup/etc_local_$(date +%Y%m%d).tar.gz /etc/local
tar -czvf /path/to/backup/etc_CRON_$(date +%Y%m%d).tar.gz /etc/CRON
tar -czvf /path/to/backup/etc_host_$(date +%Y%m%d).tar.gz /etc/host
```
2. 设置定时任务：编辑 crontab 文件，添加以下行来设置定时任务：
```
10 0 * * * /path/to/backup.sh > /path/to/backup/backup.log 2>&1
```
  这里 > 将标准输出重定向到日志文件，2>&1 将标准错误也重定向到同一个日志文件。
3. 调试和测试：
  - 在测试环境中运行脚本，确保没有错误。
  - 手动运行 crontab 中的命令，检查是否能够成功执行。
  - 如果遇到问题，检查日志文件 backup.log。
4. 处理链接文件：如果 /etc/CRON 是一个链接文件，需要在 tar 命令中添加 -h 选项来备份链接所指向的原始文件。
5. 转译特殊字符：如果在脚本中使用了特殊字符（如 %），在 crontab 中需要使用反斜杠 \ 进行转译。
6. 查看和验证：使用 ls /path/to/backup 来查看备份文件是否已经生成，使用 cat /path/to/backup/backup.log 查看备份日志。

分析需求到完成定时任务全过程

知识抽取与框架构建
- 教师强调了从一堆具体知识中提炼出通用框架的重要性。例如，在处理定时任务的过程中，可以将整个任务分为多个阶段：需求分析、命令行调试、脚本编写与测试、定时任务创建与调试。通过这种方法，将复杂任务拆解为一系列步骤并明确每个步骤的关注重点。
命令行测试
- 在进行命令行测试时，应确保相关路径和文件存在，并且在命令行中使用全路径执行命令。
- 示例：在测试tar打包命令时，确保备份路径已创建，同时打包文件名中加入时间戳（如年月日+时分秒），确保每次打包不会覆盖之前的备份，且时间戳应与执行频率相匹配。
脚本编写
- 脚本应当放置在标准或规范的路径下，比如Server SCRIPT目录，便于管理和查找。
- 脚本内涉及的程序、命令以及路径都需要使用绝对路径，避免因运行环境变化导致脚本失效。
- 注意控制脚本中的输出，对于不必要的输出（如tar的详细信息），可通过添加参数如--no-v或重定向至/dev/null来消除。
环境变量处理
- 当脚本中引用环境变量时，务必确保该环境变量已在当前脚本环境中被定义。若在/etc/profile等全局配置文件中定义的变量未在脚本中显式声明，则需要在脚本内部重新定义，否则定时任务执行时可能会找不到该变量。
定时任务设置
- 编写定时任务时需遵循一定的规范：
  - 添加注释以便理解和维护。
  - 使用脚本形式执行任务而非直接命令行命令。
  - 结尾使用>/dev/null 2>&1或类似机制防止输出干扰系统日志，也可以根据需要临时打开输出进行调试。
调试定时任务
- 调试时可以通过改变定时任务的执行频率（如由每天一次改为每分钟执行）快速验证任务逻辑。
- 根据系统时间调整任务触发时刻，以便立即检查任务是否正常运行。
- 利用日志输出进行调试，可以在脚本命令中添加适当的输出选项（如tar的-v）并将输出重定向至特定日志文件，调试完成后可以关闭这些输出或重定向到/dev/null。
故障排查
- 常见的故障原因包括：时间变量未转译、脚本中调用的环境变量未重新定义、定时任务结尾未正确处理输出导致inode资源耗尽等。

综上所述，上述知识点提供了从分析需求到完成定时任务全过程的具体指导，有助于学员在实践中更好地组织和解决问题。在实际应用中，如企业自动化备份场景，可以按照这些步骤来创建一个定时备份脚本，其中包含打包文件并附带时间戳、存储到指定路径、确保脚本内所有路径和环境变量正确无误，并将其配置为按时执行的任务。同时，通过对定时任务的频繁调试和日志分析，可以及时发现并解决潜在问题，确保任务稳定可靠地运行。

qq_14846625

关注

9
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
Day28-定时任务

在实际应用中，如企业自动化备份场景，可以按照这些步骤来创建一个定时备份脚本，其中包含打包文件并附带时间戳、存储到指定路径、确保脚本内所有路径和环境变量正确无误，并将其配置为按时执行的任务。来管理 RNCS 的日志，或者 RNCS 并不是一个标准的 Linux 服务，你可能需要查阅 RNCS 的官方文档或联系技术支持以获得正确的配置方法。它允许您安排一个任务，该任务将在将来的某个特定时间执行。是一个用于管理日志文件的系统实用程序，它可以自动压缩、删除和创建新的日志文件，以防止日志文件占用过多的磁盘空间。
复制链接

扫一扫