- 博客(15)
- 收藏
- 关注
RSS订阅原创 grafana8升级grafana10
注意：旧版table方式和graph方式已经被弃用（还有其他方式也弃用了，但是未测试），更新后可以正常展示，但是不可编辑，编辑需要换成新的方式再进行编辑。适用于grafana存在漏洞需要升级，或者需要新版本功能。4、更改页面为中文显示（新版本功能）#重启命令，后面跟的参数可能不一致。#复制数据文件，如仪表盘等数据。#赋权，与进程启动用户一致。2、解压，并且替换文件。3、重启即可登录页面。
2024-04-08 20:15:00
1045
原创 logstash ruby配置unicode转中文失败问题
在logstash7版本中，ruby Unicode转中文需要设置优先级排序，当其中一个出现空值时，后续字段将不再转码。日志是通过logstash解析，自从升级到logstash7版本以后，经常发现Unicode转码失效，只有部分日志转码成功。配置了mail_subject、threat_subtype、mail_attachment_name、action四个字段进行转码。经过调整threat_subtype字段位置后（挪到最后一行），发现转码正常，至此问题已经解决。启动，并在console粘贴日志。
2024-03-11 18:16:51
349
1
原创 flume转发数据到kafka 时，只写入相同的partition
flume官方说明kafka前端使用flume采集数据，Kafka Sink 使用 FlumeEvent 标头中的主题和键属性将事件发送到 Kafka。如果标头中存在主题，则事件将发送到该特定主题，从而覆盖为接收器配置的主题。在客户环境发现一个奇怪的问题，就是服务器日志量不是很大，但是数据积压，消费能力也不行。添加拦截器：（不建议私自添加，可能影响性能或者丢数据，所以放截图，仅供参考）偶然消费kafka read，即查看入口数据积压时，发现了异常。通过排查磁盘IO，服务器使用率，组件日志，均未发现异常。
2024-02-20 10:20:10
233
原创 flume简易高可用（组件高可用）
关闭任意一个flume进程，再打一条数据，kafka只消费到1条数据，重复多次，都只消费到1条数据，说明实现数据高可用。场景：flume更新需要重启（一般重启阶段可能丢失数据，如果做个简易集群，可以避免该问题）直接打一条数据，kafka只消费到1条数据，说明数据未重复消费。适用于单机环境，或者flume非跨服务器高可用架构。随意打数据，均未丢失或者重复消费数据。两个配置文件启动后，开启测试。flume.conf配置。flume01.conf配置。注意修改启动脚本的端口。
2024-02-20 10:11:41
379
原创 文件打开数设置
注意：查询时，需要切换到对应的用户；lsof |wc -l 统计为线程数；lsof -p xxxx |wc -l 统计为指定进程的线程数。修改 /etc/security/limits.conf文件，将。目前多个项目因为文件打开数问题，导致各种情况发生。注意：查询时，需要切换到对应的用户。2、当前设置文件打开数查看。1、当前文件打开数查看。3、配置文件内容查看。
2023-06-25 15:24:48
414
1
原创 Grafana8 Table类型仪表盘配置
1改成up，并以绿色为底色：Overrides->Add field override->Fields with name->Value->Add override property->(Value mapings > Value mapings)->Add value mappings，按照如下配置即可变成up；直接在拖动表格即可，在Override会自动生成配置条件，注意：同样的值拖动多次会产生多次配置，仅保留最后一个即可。9.多Metrics值展示。Grafana 版本8.4.5及配套组件。
2022-10-21 15:39:23
4647
原创 数据库审计：DDL与DML
DDL（数据定义语言）：主要指对数据库或者表进行管理或者权限类的操作，如create、alter、drop、grant、comment、truncate。DML（数据操纵语言）：主要是对数据库内的数据进行操作，如update、delete、select、insert。数据库审计，就是实时记录数据库操作行为，对数据库操作进行监控与审计，以达到安全防护的效果。删操作（删除数据，非表或者库）...
2022-09-01 17:01:07
679
原创 logstash 中文字段乱码问题
logstash 中文字段乱码问题一、出现问题环境最近接入深信服防火墙日志，该日志字段大多为中文字段。样本如下：<134>Dec 13 16:39:45 localhost fwlog: 日志类型:系统操作, 用户:admin(local), IP地址:172.18.11.100, 操作对象:用户注销, 操作类型:注销, 描述:admin(local) 172.18.11.100 注销成功经测试grok日志正常解析。用kv或者json格式解析，中文字段名出现乱码。.
2022-04-24 10:39:54
1712
原创 graylog平台日志gelf output测试
一、采集环境 客户环境版本为graylog3.3.8版本，所以测试环境也为部署为graylog3.3.8 部署环境：centos7.6 JDK：1.8 MongoDB：4.x Elasticsearch：6.x二、测试架构三、部署graylog3.3.83.1安装jdkyum install java-1.8.0-openjdk-headless.x86_64 -y3.2安装pwgenyum install epel-releas...
2022-04-22 15:31:29
4701
原创 flume采集sqlserver测试
一、背景 由于客户数据库迁移，更改flume配置后，数据采集重复，故测试环境进行验证二、准备 sqlserver：由于公司没有环境，选择linux服务器安装docker，然后docker sqlserver 其他环境：可正常运行的accur平台即可三、测试准备 3.1 sqlserver 通过数据库连接工具连接上去，新建数据库，里面插入4条数据 3.2 flume 采集配置文件如下：agent....
2022-04-13 00:00:00
2516
原创 Linux shell/expect交互式脚本编写
交互式脚本主要用于脚本封禁。如soar剧本里面的防火墙联动封禁。该文档脚本基于expect编写，expect安装支持yum和源码编译。expect交互式脚本示例：expect脚本#!/usr/local/bin/expectset timeout 30set host "172.16.1.58"set username "root"set password "123456"spawn ssh $username@$hostexpect "*yes*" {send "yes.
2022-04-12 16:19:56
3795
原创 flume采集mysql数据库增量数据说明
flume依赖包1、https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.48.tar.gz2、flume-ng-sql-source-1.5.3.jarflume配置文件 agent.sources = sqlSourceagent.sinks = k1agent.channels = c1agent.sources.sqlSource.start_time =17:00:00agent.s
2022-04-08 14:23:14
915
原创 Logstash_snmp与Logstash_snmptrap日志采集配置说明
区别Logstash_input_snmp：主动采集方式。需要提供团体名、oid、主机名及端口，主动采集数据Logstash_input_snmptrap：被动采集方式，安全设备通过snmp发送日志过来，被动采集关键字团体名（communitystring）：对于客户端相当于密码，默认为public，需要自行需改。OID(对象标识符），是SNMP代理提供的具有唯一标识的键值MIB（管理信息基）：提供数字化OID到可读文本的映射版本选择snmp版本：5.7.2（centos.
2022-04-07 14:13:21
2321
原创 logstash 嵌套json/多层json解析配置
最近解析日志时，发现日志最多有六层嵌套json，且每层json的位置也经常变换，导致正则解析经常失效，并且最终解析文件过于庞大；最终改成json方式解析日志。日志样例：<150>Mar 10 13:22:57 localhost sdp-proxy@userLog[486]: {"event":{"subType":"user.l3app.access","mainType":"app","timestamp":"2022-03-10 13:22:57","level":"INFO"
2022-04-06 14:57:26
3197
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人