对日志的认识以及管理

################系统日志管理##############
1.rsyslog ###此服务用来采集系统日志,不生产日志,只是起到采集作用

2.rsyslog的管理
/var/log/messages ##服务信息日志
/var/log/secure ##系统登陆日志
/var/log/cron ##定时任务日志
/var/log/maillog ##邮件日志
/var/log/boot.log ##系统启动日志

指定日志采集路径

vim /etc/rsyslog.conf ###对文件编辑,指定路径 开放UDP/TCP借口
systemctl restart rsyslog.service ### 修改完重启

什么类型的日志,什么级别的日志 /var/log/file ##日志采集规则

#日志类型分为:
auth ##pam产生的日志
authpriv ##ssh,ftp等登陆信息的验证信息
cron ##时间人物相关
kern ##内核
lpr ##打印
mail ##邮件
mark(syslog)-rsyslog ##服务内部的信息,时间标识
news ##更新信息
user ##用户程序产生的相关信息
uucp ##unix to nuix copy, unix主机之间相关的通讯
local 1~7 ##自定义的日志设备

##日志级别分别:
debug ##有调式信息的,日志信息最多
info ##一般信息的日志,最常用
notice ##最具有重要性的普通条件的信息
warning ##警告级别
err ##错误级别,阻止某个功能或者模块不能正常工作的信息
crit ##严重级别,阻止整个系统或者整个软件不能正常工作的信息
alert ##需要立刻修改的信息
emerg ##内核崩溃等严重信息
none ##什么都不记录

##注意:从上到下,级别从低到高,记录的信息越来越少
##详细的可以查看手册: man 3 syslog

3.日志的远程同步
日志发送方
vim /etc/rsyslog.conf
53行下写
. @ip ##"@"表示udp协议发送,“@@”表示tcp协议发送

systemctl restart rsyslog ##重启

日志接受方
vim /etc/rsyslog.conf
14 # Provides UDP syslog reception
15 $ModLoad imudp ##日至接收模块
16 $UDPServerRun 514 ##开启接收端口

systemctl restart rsyslog.service 重启
systemctl stop firewalld ##关闭火墙
systemctl disable firewalld ##设定火墙开机关闭
测试

#######日志采集格式的设定#####
vim /etc/rsyslog.conf

$template LOGFMT, “%FROMHOST-IP%|%timegenerated%|%syslogtag%|%msg%\n”
^
(可以任意,但必须大写)

“%FROMHOST-IP% ##显示主机ip
|%timegenerated%| ##显示日志时间
%syslogtag%| ##日志记录目标
%msg% ##日志内容
\n” ##换行

. /var/log/messages;LOGFMT(需和之前名字一直)

cat /var/log/westos
举例:
在这里插入图片描述
在这里插入图片描述

######时间同步服务######
服务名称
chrond

##服务端:
vim /etc/chrony.conf
22 allow 172.25.254.103 ##允许172.25.254.103同步本机时间
29 local stratum 10 ##本机不同步任何主机的时间,本机作为时间源

systemctl restart chronyd.service ##重起
timedatectl set-timezone Asia/Shanghai ##更改当前时区为东8区

##在客户端:
vim /etc/chrony.conf
server 172.25.254.203 iburst ##本机立即同步203主机的时间

systemctl restart chronyd.service ##重起
timedatectl set-timezone Asia/Shanghai ##更改当前时区为东8区

测试:

#####timedatectl命令######
timedatectl #管理系统时间
timedatectl status ##显示当前时间信息
set-time ##设定当前时间
set-timezone ##设定当前时区
timedatectl set-local-rtc 1|0 ##设定是否使用utc时间
[root@kehuduan Desktop]# timedatectl set-local-rtc 1
[root@kehuduan Desktop]# cat /etc/adjtime
0.0 0 0.0
0
LOCAL ========>表示不使用utc时间
list-timezone ##查看支持的所有时区

####journal######

1.journalctl ##日志查看工具
-n 3 ##查看最近3条日志
-p err ##查看错误日志
-o verbose ##查看日志的详细参数
– since ##查看从什么时间开始的日志
– until ##查看到什么时间为止的日志

2.如何使用systemd-journald保存系统日志
默认systemd-journald是不保存系统日志到硬盘的呢么关机后再次开机只能看到本次开机之后的日志上以次关机之前的日志是无法查看的

mkdir /var/log/journal
chgrp systemd-journal /var/log/journal
chmod g+s /var/log/journal
killall - systemd-journald

ls /var/log/journal

###############linux下的网络配置############
###1.什么是ip ADDRESS
internet protocol ADDRESS ##网络进程地址
ipv4 internet protocol version 4

ip是由32个0或1组成的
11111111.11111111.11111111.11111110 = 255.255.255.254

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flume是一个高可用、分布式的日志收集系统,可以将不同来源的数据进行收集、聚合和传输到目标数据存储系统。在学习和实践Flume的过程中,我对Flume有了更深入的认识,并从中获得了一些感悟。 一、Flume的认识 1. Flume的架构 Flume的架构分为三层:Source、Channel和Sink。Source负责从数据源收集数据,Channel负责缓存数据,Sink负责将数据传输到目标存储系统。Source、Channel和Sink之间通过Event进行通信。这样的架构可以提高Flume的可靠性和扩展性,同时允许用户根据实际需求进行定制化配置。 2. Flume的配置 Flume的配置文件是一个properties文件,主要包括agent、source、channel和sink四个部分。在配置文件中,需要指定source、channel和sink的类型、名称和参数。Flume提供了丰富的配置选项,可以根据实际需求进行定制化配置。 3. Flume的应用 Flume可以应用于日志收集、数据同步、数据备份等多种场景。在日志收集方面,Flume可以帮助用户收集、聚合和传输大量的日志数据,提高日志处理的效率和可靠性。在数据同步方面,Flume可以将数据从不同的数据源同步到目标存储系统,实现数据的统一管理和分析。在数据备份方面,Flume可以帮助用户将数据备份到多个地方,提高数据的安全性和可用性。 二、Flume的感悟 1. 大数据处理的重要性 Flume是大数据处理中的一个重要组成部分,可以帮助用户收集、聚合和传输大量的数据。在当今的信息时代,数据已经成为一种重要的资源和资产,对于企业和组织来说,如何高效地处理和利用数据,已经成为一项重要的任务。因此,学习和掌握大数据处理技术,对于我们来说具有重要的意义。 2. 分布式系统的设计思想 Flume是一个分布式的系统,采用了分层设计的思想,将系统功能划分为不同的模块,通过Event进行通信。这种设计思想可以提高系统的可靠性和扩展性,同时允许用户根据实际需求进行定制化配置。在实际项目中,我们也可以采用类似的设计思想,将系统分层,通过消息队列等方式进行通信,提高系统的可靠性和扩展性。 3. 学习和掌握新技术的重要性 Flume是一个比较新的技术,虽然在大数据处理领域已经得到广泛的应用,但是对于我们来说还需要学习和掌握。学习和掌握新技术,可以提高我们的综合能力和竞争力,也可以为我们未来的职业发展打下坚实的基础。 总之,通过学习和实践Flume,我对大数据处理的认识和理解更加深入,也从中获得了一些宝贵的经验和感悟。我相信,在今后的学习和工作中,我会继续探索和学习更多的新技术,不断提高自己的综合能力和竞争力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值