自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 收藏
  • 关注

原创 grafana8升级grafana10

注意:旧版table方式和graph方式已经被弃用(还有其他方式也弃用了,但是未测试),更新后可以正常展示,但是不可编辑,编辑需要换成新的方式再进行编辑。适用于grafana存在漏洞需要升级,或者需要新版本功能。4、更改页面为中文显示(新版本功能)#重启命令,后面跟的参数可能不一致。#复制数据文件,如仪表盘等数据。#赋权,与进程启动用户一致。2、解压,并且替换文件。3、重启即可登录页面。

2024-04-08 20:15:00 922

原创 logstash ruby配置unicode转中文失败问题

在logstash7版本中,ruby Unicode转中文需要设置优先级排序,当其中一个出现空值时,后续字段将不再转码。日志是通过logstash解析,自从升级到logstash7版本以后,经常发现Unicode转码失效,只有部分日志转码成功。配置了mail_subject、threat_subtype、mail_attachment_name、action四个字段进行转码。经过调整threat_subtype字段位置后(挪到最后一行),发现转码正常,至此问题已经解决。启动,并在console粘贴日志。

2024-03-11 18:16:51 324 1

原创 flume转发数据到kafka 时,只写入相同的partition

flume官方说明kafka前端使用flume采集数据,Kafka Sink 使用 FlumeEvent 标头中的主题和键属性将事件发送到 Kafka。如果标头中存在主题,则事件将发送到该特定主题,从而覆盖为接收器配置的主题。在客户环境发现一个奇怪的问题,就是服务器日志量不是很大,但是数据积压,消费能力也不行。添加拦截器:(不建议私自添加,可能影响性能或者丢数据,所以放截图,仅供参考)偶然消费kafka read,即查看入口数据积压时,发现了异常。通过排查磁盘IO,服务器使用率,组件日志,均未发现异常。

2024-02-20 10:20:10 222

原创 flume简易高可用(组件高可用)

关闭任意一个flume进程,再打一条数据,kafka只消费到1条数据,重复多次,都只消费到1条数据,说明实现数据高可用。场景:flume更新需要重启(一般重启阶段可能丢失数据,如果做个简易集群,可以避免该问题)直接打一条数据,kafka只消费到1条数据,说明数据未重复消费。适用于单机环境,或者flume非跨服务器高可用架构。随意打数据,均未丢失或者重复消费数据。两个配置文件启动后,开启测试。flume.conf配置。flume01.conf配置。注意修改启动脚本的端口。

2024-02-20 10:11:41 348

原创 文件打开数设置

注意:查询时,需要切换到对应的用户;lsof |wc -l 统计为线程数;lsof -p xxxx |wc -l 统计为指定进程的线程数。修改 /etc/security/limits.conf文件,将。目前多个项目因为文件打开数问题,导致各种情况发生。注意:查询时,需要切换到对应的用户。2、当前设置文件打开数查看。1、当前文件打开数查看。3、配置文件内容查看。

2023-06-25 15:24:48 381 1

原创 Elastic agent集群部署及注意事项

测试部署elastic agent,验证数据采集(filebeat和系统指标)是否可行

2023-01-03 15:10:40 921

原创 Grafana8 Table类型仪表盘配置

1改成up,并以绿色为底色:Overrides->Add field override->Fields with name->Value->Add override property->(Value mapings > Value mapings)->Add value mappings,按照如下配置即可变成up;直接在拖动表格即可,在Override会自动生成配置条件,注意:同样的值拖动多次会产生多次配置,仅保留最后一个即可。9.多Metrics值展示。Grafana 版本8.4.5及配套组件。

2022-10-21 15:39:23 4528

原创 数据库审计:DDL与DML

DDL(数据定义语言):主要指对数据库或者表进行管理或者权限类的操作,如create、alter、drop、grant、comment、truncate。DML(数据操纵语言):主要是对数据库内的数据进行操作,如update、delete、select、insert。数据库审计,就是实时记录数据库操作行为,对数据库操作进行监控与审计,以达到安全防护的效果。删操作(删除数据,非表或者库)...

2022-09-01 17:01:07 630

原创 logstash 中文字段乱码问题

logstash 中文字段乱码问题一、出现问题环境最近接入深信服防火墙日志,该日志字段大多为中文字段。样本如下:<134>Dec 13 16:39:45 localhost fwlog: 日志类型:系统操作, 用户:admin(local), IP地址:172.18.11.100, 操作对象:用户注销, 操作类型:注销, 描述:admin(local) 172.18.11.100 注销成功经测试grok日志正常解析。用kv或者json格式解析,中文字段名出现乱码。.

2022-04-24 10:39:54 1654

原创 graylog平台日志gelf output测试

一、采集环境 客户环境版本为graylog3.3.8版本,所以测试环境也为部署为graylog3.3.8 部署环境:centos7.6 JDK:1.8 MongoDB:4.x Elasticsearch:6.x二、测试架构三、部署graylog3.3.83.1安装jdkyum install java-1.8.0-openjdk-headless.x86_64 -y3.2安装pwgenyum install epel-releas...

2022-04-22 15:31:29 4657

原创 flume采集sqlserver测试

一、背景 由于客户数据库迁移,更改flume配置后,数据采集重复,故测试环境进行验证二、准备 sqlserver:由于公司没有环境,选择linux服务器安装docker,然后docker sqlserver 其他环境:可正常运行的accur平台即可三、测试准备 3.1 sqlserver 通过数据库连接工具连接上去,新建数据库,里面插入4条数据 3.2 flume 采集配置文件如下:agent....

2022-04-13 00:00:00 2487

原创 Linux shell/expect交互式脚本编写

交互式脚本主要用于脚本封禁。如soar剧本里面的防火墙联动封禁。该文档脚本基于expect编写,expect安装支持yum和源码编译。expect交互式脚本示例:expect脚本#!/usr/local/bin/expectset timeout 30set host "172.16.1.58"set username "root"set password "123456"spawn ssh $username@$hostexpect "*yes*" {send "yes.

2022-04-12 16:19:56 3770

原创 flume采集mysql数据库增量数据说明

flume依赖包1、https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.48.tar.gz2、flume-ng-sql-source-1.5.3.jarflume配置文件 agent.sources = sqlSourceagent.sinks = k1agent.channels = c1agent.sources.sqlSource.start_time =17:00:00agent.s

2022-04-08 14:23:14 897

原创 Logstash_snmp与Logstash_snmptrap日志采集配置说明

区别Logstash_input_snmp:主动采集方式。需要提供团体名、oid、主机名及端口,主动采集数据Logstash_input_snmptrap:被动采集方式,安全设备通过snmp发送日志过来,被动采集关键字团体名(communitystring):对于客户端相当于密码,默认为public,需要自行需改。OID(对象标识符),是SNMP代理提供的具有唯一标识的键值MIB(管理信息基):提供数字化OID到可读文本的映射版本选择snmp版本:5.7.2(centos.

2022-04-07 14:13:21 2256

原创 logstash 嵌套json/多层json解析配置

最近解析日志时,发现日志最多有六层嵌套json,且每层json的位置也经常变换,导致正则解析经常失效,并且最终解析文件过于庞大;最终改成json方式解析日志。日志样例:<150>Mar 10 13:22:57 localhost sdp-proxy@userLog[486]: {"event":{"subType":"user.l3app.access","mainType":"app","timestamp":"2022-03-10 13:22:57","level":"INFO"

2022-04-06 14:57:26 3136

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除