-
总结日志分类, 优先级别。图文并茂解释应用如何将日志发到rsyslog,并写到目标。
(1)日志分类：
#内置分类
auth, authpriv, cron, daemon,ftp,kern, lpr, mail, news, security(auth), user, uucp, syslog #自定义的分类
local0-local7
(2)优先级别：
debug,info, notice, warn(warning), err(error), crit(critical), alert, emerg(panic)
-
完成功能，sshd应用将日志写到rsyslog的local6分类，过滤所有级别，写入到/var/log/ssh.log。
#修改ssh的配置文件 [root@Rocky8 ~]#vim /etc/ssh/sshd_config SyslogFacility local6 #新建一个/etc/rsyslog.d/myself.conf的配置文件来专门存放和ssh有关的日志 [root@Rocky8 ~]#vim /etc/rsyslog.d/myself.conf local6.* /var/log/ssh.log #自定义local6类型的所有级别 #重启sshd和rsyslog服务 [root@Rocky8 ~]#systemctl restart sshd rsyslog #查看/var/log/ssh.log日志 [root@Rocky8 ~]#tail -f /var/log/ssh.log Jan 30 13:26:22 Rocky8 sshd[2132]: Server listening on 0.0.0.0 port 22. Jan 30 13:26:22 Rocky8 sshd[2132]: Server listening on :: port 22. Jan 30 13:27:59 Rocky8 sshd[2153]: Accepted password for root from 10.0.0.131 port 32758 ssh2 -
完成功能，将3个主机(要求主机名为ip)的ssh日志，通过rsyslog服务将ssh日志写入到集中的主机上的rsyslog服务，写入到/var/log/all-ssh.log文件
#修改集中日志服务器的配置，使用模块(也可用tcp)及打开监听端口 [root@rsyslog-server ~]#vim /etc/rsyslog.conf module(load="imudp") #去掉#号 input(type="imudp" port="514") #去掉#号 #新建一个/etc/rsyslog.d/myself.conf的配置文件来专门存放和ssh有关的日志 [root@Rocky8 ~]#vim /etc/rsyslog.d/myself.conf local6.* /var/log/all-ssh.log #自定义local6类型的所有级别 #重启ssh和rsyslog服务 [root@rsyslog-server ~]#systemctl restart sshd rsyslog #查看udp端口 [root@rsyslog-server ~]#ss -nul State Recv-Q Send-Q Local Address:Port Peer UNCONN 0 0 0.0.0.0:514 0.0.0.0:* UNCONN 0 0 [::]:514 [::]:* #修改ssh配置文件 [root@20 ~]#vim /etc/ssh/sshd_config SyslogFacility local6 #定义类型为local6 #修改rsyslog配置文件 [root@20 ~]#vim /etc/rsyslog.conf local6.* @10.0.0.10:514 #local6类型的所有级别发往集中服务器 #两个@@符号代表tcp #重启ssh和rsyslog服务 [root@20 ~]#systemctl restart sshd rsyslog #3台服务#集中日志服务：rsyslog-server #另外3台服务器：10.0.0.20; 10.0.0.30; 10.0.0.131 #修改集中日志服务器的配置，使用模块(也可用tcp)及打开监听端口 [root@rsyslog-server ~]#vim /etc/rsyslog.conf module(load="imudp") #去掉#号 input(type="imudp" port="514") #去掉#号 #新建一个/etc/rsyslog.d/myself.conf的配置文件来专门存放和ssh有关的日志 [root@Rocky8 ~]#vim /etc/rsyslog.d/myself.conf local6.* /var/log/all-ssh.log #自定义local6类型的所有级别 #重启ssh和rsyslog服务 [root@rsyslog-server ~]#systemctl restart sshd rsyslog #查看udp端口 [root@rsyslog-server ~]#ss -nul State Recv-Q Send-Q Local Address:Port Peer UNCONN 0 0 0.0.0.0:514 0.0.0.0:* UNCONN 0 0 [::]:514 [::]:* #修改ssh配置文件 [root@20 ~]#vim /etc/ssh/sshd_config SyslogFacility local6 #定义类型为local6 #修改rsyslog配置文件 [root@20 ~]#vim /etc/rsyslog.conf local6.* @10.0.0.10:514 #local6类型的所有级别发往集中服务器 #两个@@符号代表tcp #重启ssh和rsyslog服务 [root@20 ~]#systemctl restart sshd rsyslog #3台服务器配置流程一致 [root@rsyslog-server ~]#cat /var/log/all-ssh.log Jan 30 15:30:58 20 sshd[1548]: Accepted password for root from 10.0.0.1 port 53632 ssh2 Jan 30 15:48:53 30 sshd[1318]: Accepted password for root from 10.0.0.1 port 53767 ssh2 Jan 30 15:46:03 131 sshd[1844]: Server listening on 0.0.0.0 port 22. 器配置流程一致 [root@rsyslog-server ~]#cat /var/log/all-ssh.log Jan 30 15:30:58 20 sshd[1548]: Accepted password for root from 10.0.0.1 port 53632 ssh2 Jan 30 15:48:53 30 sshd[1318]: Accepted password for root from 10.0.0.1 port 53767 ssh2 Jan 30 15:46:03 131 sshd[1844]: Server listening on 0.0.0.0 port 22. -
总结/var/log/目录下常用日志文件作用。
/var/log/secure，/var/log/auth.log：系统安全日志，文本格式，应周期性分析
/var/log/btmp：当前系统上，用户的失败尝试登录相关的日志信息，二进制格式，lastb命令进行查看
/var/log/wtmp：当前系统上，用户正常登录系统的相关日志信息，二进制格式，last命令可以查看
#显示系统关机项和运行级别更改 last -x , --system
/var/log/lastlog:每一个用户最近一次的登录信息，二进制格式，lastlog命令可以查看
/var/log/dmesg：CentOS7 之前版本系统引导过程中的日志信息，文本格式，开机后的硬件变化将不再记录，也可以通过专用命令 dmesg查看，可持续记录硬件变化的情况
/var/log/boot.log 系统服务启动的相关信息，文本格式，Ubuntu无此文件
/var/log/messages(红帽系统)，/var/log/syslog (Ubuntu) ：系统中大部分的信息
/var/log/anaconda : anaconda的日志，Ubuntu无此文件 -
总结journalctl命令的选项及示例
# 查看所有日志（默认情况下 ，只保存本次启动的日志） journalctl # 查看内核日志（不显示应用日志） journalctl -k # 查看系统本次启动的日志 journalctl -b journalctl -b -0 # 查看上一次启动的日志（需更改设置） journalctl -b -1 # 查看指定时间的日志 journalctl --since = "2017-10-30 18:10:30" journalctl --since "20 min ago" journalctl --since yesterday journalctl --since "2017-01-10" --until "2017-01-11 03:00" journalctl --since 09 :00 --until "1 hour ago" # 显示尾部的最新 10 行日志 journalctl -n # 显示尾部指定行数的日志 journalctl -n 20 # 实时滚动显示最新日志 journalctl -f # 查看指定服务的日志 journalctl /usr/lib/systemd/systemd # 查看指定进程的日志 journalctl _PID = 1 # 查看某个路径的脚本的日志 journalctl /usr/bin/bash # 查看指定用户的日志 journalctl _UID = 33 --since today # 查看某个 Unit 的日志 journalctl -u nginx.service journalctl -u nginx.service --since today # 实时滚动显示某个 Unit 的最新日志 journalctl -u nginx.service -f # 合并显示多个 Unit 的日志 journalctl -u nginx.service -u php-fpm.service --since today # 查看指定优先级（及其以上级别）的日志，共有 8 级 0 : emerg 1 : alert 2 : crit 3 : err 4 : warning 5 : notice 6 : info 7 : debug journalctl -p err -b # 日志默认分页输出， --no-pager 改为正常的标准输出 journalctl --no-pager # 日志管理 journalctl # 以 JSON 格式（单行）输出 journalctl -b -u nginx.service -o json # 以 JSON 格式（多行）输出，可读性更好 journalctl -b -u nginx.service -o json-pretty # 显示日志占据的硬盘空间 journalctl --disk-usage # 指定日志文件占据的最大空间 journalctl --vacuum-size = 1G # 指定日志文件保存多久 journalctl --vacuum-time = 1years -
完成将多个主机（要求主机名为ip)的nginx日志集中写入到mysql表中
#在 rsyslog 服务器上安装连接 mysql 模块相关的程序包 root@huang:~# apt install rsyslog-mysql -y #查看sql脚本文件内容 root@huang:~# cat //usr/share/dbconfig-common/data/rsyslog-mysql/install/mysql CREATE DATABASE Syslog;#Ubuntu22.04和20.04没有此行，需要手动创建数据库 USE Syslog; CREATE TABLE SystemEvents ( ID int unsigned not null auto_increment primary key, CustomerID bigint, ReceivedAt datetime NULL, DeviceReportedTime datetime NULL, Facility smallint NULL, Priority smallint NULL, FromHost varchar(60) NULL, Message text, NTSeverity int NULL, Importance int NULL, EventSource varchar(60), EventUser varchar(60) NULL, EventCategory int NULL, EventID int NULL, EventBinaryData text NULL, MaxAvailable int NULL, CurrUsage int NULL, MinUsage int NULL, MaxUsage int NULL, InfoUnitID int NULL , SysLogTag varchar(60), EventLogType varchar(60), GenericFileName VarChar(60), SystemID int NULL ); CREATE TABLE SystemEventsProperties ( ID int unsigned not null auto_increment primary key, SystemEventID int NULL , ParamName varchar(255) NULL , ParamValue text NULL ); # 方法 1: 事先执行 2.3.2 步骤再执行下面指令 root@huang:~# #mysql -ursyslog -p123456 -h10.0.0.201 Syslog < /usr/share/dbconfig-common/data/rsyslog-ysql/install/mysql root@huang:~# #mysql -ursyslog -p123456 -h10.0.0.201 Syslog -e "source /usr/share/dbconfig-common/data/rsyslog-ysql/install/mysql" # 方法 2 # 将 sql 脚本复制到数据库服库上 root@huang:~# #scp /usr/share/doc/rsyslog/mysql-createDB.sql 10.0.0.201:/data 6.2 数据库服务器准备 Mysql默认只监听本机端口 #开启远程监听端口 root@huang:~# vim /etc/mysql/mysql.conf.d/mysqld.cnf #注释两行 #bind-address = 127.0.0.1 #mysqlx-bind-address = 127.0.0.1 #重启服务 root@huang:~# systemctl restart mysql.service # 在 MySQL 数据库服务器上创建相关数据库和表，并授权 rsyslog 能连接至当前服务器 root@centos8 ~] #yum install mysql-server [root@centos8 ~] #mysql -u mysql>source /data/mysql-createDB.sql #如果使用方法1则不需要执行此步 mysql>CREATE USER 'rsyslog' @ '10.0.0.%' IDENTIFIED BY '123456' ; mysql>GRANT ALL ON Syslog.* TO 'rsyslog' @ '10.0.0.%' ; -
尝试使用logrotate服务切割nginx日志，每天切割一次，要求大于不超过3M, 保存90天的日志, 旧日志以时间为后缀，要求压缩。
[root@ubuntu2204 ~] #cat /etc/logrotate.d/test1 /var/log/test/test1.log { daily #每天转储 rotate 90 #指定日志文件删除之前转储的次数 compress #压缩 dateext #旧文件带日期 delaycompress #延迟压缩 missingok #日志不存在，不提示错误，继续处理下一个 size 3M #每个文件大小为3M notifempty #空文件不转储 create 644 bin daemon #转储旧文件以后，创建新的文件并更改对应的属性 sharedscripts postrotate echo `date +%F_%T` >> /data/test1.log if [ -f /apps/nginx/logs/nginx.pid ]; then #针对nginx特有的设置 kill -USR1 `cat /apps/nginx/logs/nginx.pid` #针对nginx特有的设置 if endscript } #生成新日志 [root@ubuntu2204 ~]#dd if=/dev/zero of=/var/log/test/test1.log bs=4M count=1 [root@ubuntu2204 ~]#ll /var/log/test/ -rw-r----- 1 nginx nginx 4179600 5月 8 17:13 test1.log -rw-r----- 1 nginx nginx 4179600 5月 8 17:10 test1.log.1 -rw-r----- 1 nginx nginx 1052 5月 8 17:12 test1.log-20240516.gz -
总结 LVS的NAT和DR模型工作原理，并完成DR模型实战。
NAT模型工作原理
客户端请求：当客户端向LVS Server发送请求时，请求的目标是LVS Server的虚拟 IP（VIP） 地址。
LVS Server接收请求：LVS Server接收到请求后，它将根据预定义的LVS 算法（如rr、wrr、lc等）来选择一个后端服务器Real Server来处理该请求。
修改数据包：在LVS-NAT模式下，LVS Server会修改客户端请求的数据包，将数据包的源地址替换为LVS Server的 VIP 地址，然后将数据包转发到选择的后端服务器Real Serve。这使得后端服务器Real Serve认为请求来自于LVS Server，而不是直接来自客户端。
后端服务器响应：后端服务器处理请求并生成响应。响应数据包传递给LVS Server。
还原数据包：LVS Server接收到后端服务器Real Serve的响应后，它将修改数据包，将目标地址还原为客户端的原始 IP 地址，并将响应数据包转发给客户端。
客户端接收响应：客户端接收到来自LVS Server的响应，但从客户端的角度看，好像直接与后端服务器Real Serve通信一样。
DR模型工作原理
客户端请求：客户端向LVS Server的虚拟 IP 地址（VIP）发出请求。
LVS Server接收请求：LVS Server接收到请求后，根据预定义的负载均衡算法（如轮询、加权轮询、最小连接数等），选择一个Real Server来处理该请求。
ARP Spoofing（ARP欺骗）：在LVS-DR模式中，LVS Server通常会使用ARP Spoofing技术。它发送虚假的ARP响应，将VIP映射到LVS Server的MAC地址。这会导致局域网中的其他设备将VIP的流量发送到LVS Server。
直接路由到后端服务器Real Server：当ARP欺骗生效后，客户端的请求数据包被直接路由到LVS Server选择的后端服务器Real Server。LVS Server只修改目标MAC地址，将数据包传递给后端服务器Real Server，而不修改IP地址。
后端服务器Real Server处理请求：后端服务器Real Server处理请求并生成响应。
直接路由回客户端：后端服务器Real Server生成的响应数据包被直接路由回客户端。LVS Server不参与响应数据包的传输，因此可以有效提高系统性能。
LVS网路配置
# 所有主机禁用 iptables 和 SELinux
#internet 主机环境
[root@internet ~] #hostname
internet
[root@internet ~] #hostname -I
192 .168.10.6
[root@internet ~] #route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
192 .168.10.0 0 .0.0.0 255 .255.255.0 U 1 0 0 eth0
0 .0.0.0 192 .168.10.200 0 .0.0.0 UG 0 0 0 eth0
[root@internet ~] #ping 10.0.0.7 -c1
PING 10 .0.0.7 (10.0.0.7) 56 (84) bytes of data.
64 bytes from 10 .0.0.7: icmp_seq = 1 ttl = 63 time = 0 .565 ms
[root@internet ~] #ping 10.0.0.17 -c1
PING 10 .0.0.7 (10.0.0.17) 56 (84) bytes of data.
64 bytes from 10 .0.0.17: icmp_seq = 1 ttl = 63 time = 0 .565 ms
###########################################################
#路由器设置
#添加第二个网卡eth1，ip地址为192.168.10.200/24
root@huang:~# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
link/ether 00:0c:29:33:fc:02 brd ff:ff:ff:ff:ff:ff
inet 10.0.0.200/24 brd 10.0.0.255 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::20c:29ff:fe33:fc02/64 scope link
valid_lft forever preferred_lft forever
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
link/ether 00:0c:29:33:fc:0c brd ff:ff:ff:ff:ff:ff
inet 192.168.10.200/24 brd 192.168.10.255 scope global eth1
valid_lft forever preferred_lft forever
inet6 fe80::20c:29ff:fe33:fc0c/64 scope link
valid_lft forever preferred_lft forever
#开启ip_forward功能
root@huang:~# vim /etc/sysctl.conf
net.ipv4.ip_forward=1
root@huang:~# sysctl -p
#LVS 的网络配置
root@lvs-server:~# cat /etc/netplan/01-netcfg.yaml
network:
version: 2
renderer: networkd
ethernets:
eth0:
addresses: [10.0.0.200/24]
gateway4: 10.0.0.203
nameservers:
addresses: [223.5.5.5, 180.76.76.76]
网关需要指向路由
#Rs1网络配置
root@huang:~# cat /etc/netplan/01-netcfg.yaml
network:
version: 2
renderer: networkd
ethernets:
eth0:
addresses: [10.0.0.202/24]
gateway4: 10.0.0.200
nameservers:
addresses: [223.5.5.5, 180.76.76.76]
root@huang:~# apt install apache2 -y
root@huang:~# hostname -I > /var/www/html/index.html
root@huang:~# curl 10.0.0.202
10.0.0.202
#Rs2网络配置
root@huang:~# cat /etc/netplan/01-netcfg.yaml
network:
version: 2
renderer: networkd
ethernets:
eth0:
addresses: [10.0.0.203/24]
gateway4: 10.0.0.200
nameservers:
addresses: [223.5.5.5, 180.76.76.76]
root@huang:~# apt install apache2 -y
root@huang:~# hostname -I > /var/www/html/index.html
root@huang:~# curl 10.0.0.203
10.0.0.203
后端RS的IPVS配置
#RS1 的 IPVS 配置
[root@rs1 ~] #echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@rs1 ~] #echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@rs1 ~] #echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@rs1 ~] #echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@rs1 ~] #ifconfig lo:1 10.0.0.100/32
[root@rs1 ~] #ip a
1 : lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group
default qlen 1000
link/loopback 00 :00:00:00:00:00 brd 00 :00:00:00:00:00
inet 127 .0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet 10 .0.0.100/0 scope global lo:1
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2 : eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP
group default qlen 1000
link/ether 00 :0c:29:01:f9:48 brd ff:ff:ff:ff:ff:ff
inet 10 .0.0.202/24 brd 10 .0.0.255 scope global noprefixroute eth0
valid_lft forever preferred_lft forever
inet6 fe80::20c:29ff:fe01:f948/64 scope link
valid_lft forever preferred_lft forever
#RS2 的 IPVS 配置
[root@rs2 ~] #echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@rs2 ~] #echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@rs2 ~] #echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@rs2 ~] #echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@rs2 ~] #ifconfig lo:1 10.0.0.100/32
[root@rs2 ~] #ip a
1 : lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group
default qlen 1000
link/loopback 00 :00:00:00:00:00 brd 00 :00:00:00:00:00
inet 127 .0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet 10 .0.0.100/0 scope global lo:1
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2 : eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP
group default qlen 1000
link/ether 00 :0c:29:94:1a:f6 brd ff:ff:ff:ff:ff:ff
inet 10 .0.0.203/24 brd 10 .0.0.255 scope global noprefixroute eth0
valid_lft forever preferred_lft forever
inet6 fe80::20c:29ff:fe94:1af6/64 scope link
valid_lft forever preferred_lft forever
LVS主机的配置
# 在 LVS 上添加 VIP
[root@lvs ~] #ifconfig lo:1 10.0.0.100/32
[root@lvs ~] #ip a
1 : lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group
default qlen 1000
link/loopback 00 :00:00:00:00:00 brd 00 :00:00:00:00:00
inet 127 .0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet 10 .0.0.100/0 scope global lo:1
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2 : eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP
group default qlen 1000
link/ether 00 :0c:29:8a:51:21 brd ff:ff:ff:ff:ff:ff
inet 10 .0.0.201/24 brd 10 .0.0.255 scope global noprefixroute eth0
valid_lft forever preferred_lft forever
# 实现 LVS 规则
[root@lvs ~] ~# apt install ipvsadm -y
[root@lvs ~]:~# ipvsadm -A -t 10.0.0.100:80 -s rr
[root@lvs ~]:~# ipvsadm -a -t 10.0.0.100:80 -r 10.0.0.202:80 -g
[root@lvs ~]:~# ipvsadm -a -t 10.0.0.100:80 -r 10.0.0.203:80 -g
[root@lvs ~]:~# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.0.0.100:80 rr
-> 10.0.0.202:80 Route 1 0 0
-> 10.0.0.203:80 Route 1 0 0
#测试
root@huang:~# curl 10.0.0.100
10.0.0.202
root@huang:~# curl 10.0.0.100
10.0.0.203
root@huang:~# curl 10.0.0.100
10.0.0.202
root@huang:~# curl 10.0.0.100
10.0.0.203
root@huang:~# curl 10.0.0.100
10.0.0.202
root@huang:~# curl 10.0.0.100
10.0.0.203
root@huang:~# curl 10.0.0.100
10.0.0.202
root@huang:~# curl 10.0.0.100
10.0.0.203
root@huang:~# curl 10.0.0.100
10.0.0.202
root@huang:~# curl 10.0.0.100
10.0.0.203
root@huang:~# curl 10.0.0.100
10.0.0.202
root@huang:~# curl 10.0.0.100
10.0.0.203
root@huang:~# curl 10.0.0.100
10.0.0.202
扫一扫
1526
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
