Mysql开启日志并按天进行分割

背景

公司近期需要做安全评估,然后要针对数据库进行扫描整改,说需要开启日志功能,并需要留存6个月。然后想的是开启日志的话只需要修改数据库的配置文件就可以了,但是这样的话只会生成一个文件并且处于追加写入。这样的话日志文件前期还好说,内存占用小;但是到了后期日志,文件会占用很多的内存,并且如果需要查看日志文件的话会消耗很多服务器内存、性能等,并且删除超过6个月的文件内容也不是很方便,所以考虑之后选择把日志文件按天分割放入日志文件夹中。

准备工作

  1. Linux系统的定时任务crond
  2. 针对mysql进行配置
  3. 存放日志文件的路径

一、mysql配置工作

需要确定要配置的是哪种日志?
mysql日志文件包含:

  1. 错误日志:记录启动、运行或停止mysqld时出现的问题。
  2. 通用日志:记录建立的客户端连接和执行的语句。
  3. 更新日志:记录更改数据的语句。该日志在MySQL 5.1中已不再使用。
  4. 二进制日志:记录所有更改数据的语句。还用于复制。
  5. 慢查询日志:记录所有执行时间超过long_query_time秒的所有查询或不使用索引的查询
  6. Innodb日志:innodb redo log

这里以通用日志来演示操作。

创建日志文件、日志文件夹、定时执行脚本
创建日志文件夹:mkdir /home/runtrend/iptv/fresh/log/mysql/mysql_logs
创建日志文件:touch /home/runtrend/iptv/fresh/log/mysql/mysql_logs/mysql_generallog.log
创建定时任务脚本:touch /home/runtrend/iptv/fresh/log/mysql/mysqllog.sh
赋予执行权限
赋予日志文件夹权限:chmod 777 /home/runtrend/iptv/fresh/log/mysql/mysql_logs
赋予定时任务脚本权限:chmod 774 /home/runtrend/iptv/fresh/log/mysql/mysqllog.sh
赋予日志文件权限:chmod 660 /home/runtrend/iptv/fresh/log/mysql/mysql_logs/mysql_generallog.log
开启通用日志
# 查看通用日志状态
MariaDB [softterminal]> show variables like "%general%";
+------------------+---------------------------------------------------------------------+
| Variable_name    | Value                                                               |
+------------------+---------------------------------------------------------------------+
| general_log      | ON                                                                  |# ON是打开状态,默认是OFF关闭状态
| general_log_file | /home/runtrend/iptv/fresh/log/mysql/mysql_logs/mysql_generallog.log |# 日志存放文件路径
2 rows in set (0.003 sec)

----------------------------------------------------我是分隔线---------------------------------------------------

# 查看日志写入类型,写入类型有文件或数据表两种格式,由参数logoutput控制。需要需要写入数据表可以修改成table
# 如果设置log_output=table的话,则日志结果会记录到名为gengera_log的表中,这表的默认引擎是CSV
# 也可以设置成我全都要,及设置log_output参数为“table,file”两种;命令:set global log_output=“file,table”;
# 一般情况下用的最多的就是file文件类型,所以我们这里就不进行修改了。
MariaDB [softterminal]> show variables like 'log_output';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_output    | FILE  |
+---------------+-------+
1 row in set (0.001 sec)

----------------------------------------------------我是分隔线---------------------------------------------------

#开启通用日志
MariaDB [softterminal]> set global general_log="ON";
MariaDB [softterminal]> set global general_log_file="/home/runtrend/iptv/fresh/log/mysql/mysql_logs/mysql_generallog.log";

# 开启通用日志之后就需要退出,进行重启mysql服务
重启mysql服务命令:systemctl reload mysqld.service

# 再次进入mysql数据库,查看通用日志状态
MariaDB [softterminal]> show variables like "%general%";
+------------------+---------------------------------------------------------------------+
| Variable_name    | Value                                                               |
+------------------+---------------------------------------------------------------------+
| general_log      | ON                                                                  |# ON是打开状态,默认是OFF关闭状态
| general_log_file | /home/runtrend/iptv/fresh/log/mysql/mysql_logs/mysql_generallog.log |# 日志存放文件路径
2 rows in set (0.003 sec)

#如果你遇到下面类似问题,这个是因为权限问题导致。也就是没有进行上面的赋予执行权限
MariaDB [softterminal]> set global general_log_file="/home/runtrend/iptv/fresh/log/mysql/mysql_logs/mysql_generallog.log";
ERROR 1231 (42000): Variable 'general_log_file' can't be set to the value of '/home/runtrend/iptv/fresh/log/mysql/mysql_logs/mysql_generallog.log"'

# 关闭通用日志
MariaDB [softterminal]> set global general_log="OFF";
# 关闭之后,退出mysql,重启mysql服务
# 再次进入mysql数据库,查看通用日志状态
MariaDB [softterminal]> show variables like "%general%";
+------------------+---------------------------------------------------------------------+
| Variable_name    | Value                                                               |
+------------------+---------------------------------------------------------------------+
| general_log      | OFF                                                                  |# ON是打开状态,默认是OFF关闭状态
| general_log_file | /home/runtrend/iptv/fresh/log/mysql/mysql_logs/mysql_generallog.log |# 日志存放文件路径
2 rows in set (0.003 sec)

二、创建定时执行脚本

执行定时脚本:vim /home/runtrend/iptv/fresh/log/mysql/mysqllog.sh
根据需要修改自己的日志文件路径

#!/bin/bash

time=`date -d yesterday +"%Y-%m-%d"`  #确定昨天的日期
#time=`date -d yesterday +"%Y-%m-%d-%H-%M"` # 测试使用
host="127.0.0.1" #你的mysql服务地址
user="xxxx" #mysql账号
passwd="xxxx" #mysql密码

# 创建日志存放目录 /home/runtrend/iptv/fresh/log/mysql/mysql_logs/

#移动脚本并重命名昨天的日期
mv /home/runtrend/iptv/fresh/log/mysql/mysql_logs/mysql_generallog.log /home/runtrend/iptv/fresh/log/mysql/mysql_logs/mysql_generallog$time.log

#连接数据库 并使用corntab定时任务每日0点执行,生成新的日志文件
/home/runtrend/iptv/fresh/bin/mysql/bin/mysql -u$user -p$passwd -e "set global general_log_file='/home/runtrend/iptv/fresh/log/mysql/mysql_logs/mysql_generallog.log'"

#删除超过180天的日志文件,留存6个月
find /home/runtrend/iptv/fresh/log/mysql/mysql_logs -mtime +180 -type f -name 'mysql_generallog*.log' -exec rm -f {} \;
#find /home/runtrend/iptv/fresh/log/mysql/mysql_logs -mmin +20 -type f -name 'mysql_generallog*.log' -exec rm -f {} \;

三、创建定时任务

软件包安装
  要使用cron服务,先要安装vixie-cron软件包和crontabs软件包,两个软件包作用如下:
  vixie-cron软件包是cron的主程序。crontabs软件包是用来安装、卸装、或列举用来驱动 cron 守护进程的表格的程序。
  查看是否安装了cron软件包: rpm -qa|grep vixie-cron
  查看是否安装了crontabs软件包:rpm -qa|grep crontabs
  如果没有安装,则执行如下命令安装软件包(软件包必须存在)
  rpm -ivh vixie-cron-4.1-54.FC5*
  rpm -ivh crontabs*

如果本地没有安装包,在能够连网的情况下可以在线安装
  yum install vixie-cron
  yum install crontabs

查看crond服务是否运行
  pgrep crond 或 /sbin/service crond status 或 ps -elf|grep crond|grep -v "grep"

crond服务操作命令
  /sbin/service crond start //启动服务  
  /sbin/service crond stop //关闭服务  
  /sbin/service crond restart //重启服务  
  /sbin/service crond reload //重新载入配置

查看是否存在crond服务

[root@gd88 mysql]# systemctl status crond
● crond.service - Command Scheduler
   Loaded: loaded (/usr/lib/systemd/system/crond.service; enabled; vendor preset: enabled)
   Active: active (running) since Mon 2020-12-21 14:12:37 CST; 1 years 2 months ago
 Main PID: 13703 (crond)
   Memory: 40.0K
   CGroup: /system.slice/crond.service
           └─13703 /usr/sbin/crond -n

Dec 24 12:55:01 gd88 crond[13703]: (root) RELOAD (/var/spool/cron/root)
Mar 04 11:01:01 gd88 crond[13703]: (root) RELOAD (/var/spool/cron/root)
Mar 04 11:24:01 gd88 crond[13703]: (root) RELOAD (/var/spool/cron/root)
Warning: Journal has been rotated since unit was started. Log output is incomplete or unavailable.

crond执行

执行crond,会进入类似vi编译器的界面:crontab -e
插入脚本内容:0 0 * * * /home/runtrend/iptv/fresh/log/mysql/mysqllog.sh > /dev/null 2>&1
:wq保存退出
查看存在的定时任务:crontab -l

脚本内容:

#每天0点执行脚本
0 0 * * * /home/runtrend/iptv/fresh/log/mysql/mysqllog.sh > /dev/null 2>&1

四、结语

配置都是一样的,如果要使用慢查询日志或者其他日志,只需要修改配置文件内容。后面定时任务,定时脚本都是不需要更改的。

人生如梦,岁月无情!蓦然回首,才发现人活着是一种心情,得也好,失也罢,一切皆是过眼云烟;心情好,一切都好,只要开心就好!
  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值