Jepson的博客

利用logstash收集mysql数据库表中的数据，logstash支持jdbc插件，可以用来采集数据库中的数据。

审计机制是 DM 数据库管理系统安全管理的重要组成部分之一。DM 数据库除了提供数据安全保护措施外，还提供对日常事件的事后审计监督。DM 具有一个灵活的审计子系统，可以通过它来记录系统级事件、个别用户的行为以及对数据库对象的访问。通过考察、跟踪审计信息，数据库审计员可以查看用户访问的形式以及曾试图对该系统进行的操作，从而采取积极、有效的应对措施。

SQL Server审计功能（Audit）是SQL Server 2008之后才有的功能，审计(Audit)用于追踪和记录SQL Server实例，或者单个数据库中发生的事件(Event)，审计运作的机制是通过捕获事件(Event)，把事件包含的信息写入到事件日志(Event Log)或审计文件(Audit File)中，为review提供最真实详细的数据。Audit都需要创建一个实例级的“SQL Server审核”，然后可以创建从属于它“服务器审核规范”和“数据库审核规范”。

translate过滤器插件用于根据字典或查找文件过滤传入数据中的特定字段，如果输入字段与字典查找文件中的条目匹配，则它将执行操作。常用于对日志事件，根据特定的字段打上标签，比如对日志中的hostip字段，打上对应的应用系统名的标签。可以通过以下任意一种方式指定字典，不可同时使用以下两种方式配置。根据事件中的hostip字段值，将日志打上应用系统标签。

我们在用logstash收集日志时，有时需要将日志中的IP地址映射出具体的地理位置信息，logstash中geoip过滤器提供了这个功能.由于geoip为免费IP库，存在部分IP无法获取到省份城市信息。GeoLite2-City.mmdb 可在。logstash中默认的geoip插件位于。

Logstash的output模块，相比于input模块来说是一个输出模块，output模块集成了大量的输出插件，如：可以输出到控制台、输出到指定的文件，输出到指定的网络端口、也可以输出数据到kafka/ES等等，下面介绍几种常见的输出插件及其常用配置。

logstash自动解析json日志

1 软件版本kafka_2.12-2.4.0.tgz（带zookeeper）2 kafka服务端部署2.1 将安装包上传到服务器，并解压tar zxvf kafka_2.12-2.4.0.tgz -C /datamv kafka_2.12-2.4.0 kafka2.2 修改kafka配置文件 server.propertiesvim /data/kafka/config/server.properties:############################# Server Basi

1. python中安装redis模块包pip install redis2. python连接redisredis 提供两个类 Redis 和 StrictRedis, StrictRedis 用于实现大部分官方的命令，Redis 是 StrictRedis 的子类，用于向后兼用旧版本。redis 取出的结果默认是字节，我们可以设定 decode_responses=True 改成字符串。import redishost = '192.168.149.153' # redis服务地址po

一、redis简介redis是Nosql数据库中使用较为广泛的非关系型内存数据库，redis内部是一个key-value存储系统。它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash（哈希类型，类似于Java中的map）。Redis基于内存运行并支持持久化的NoSQL数据库，是当前最热门的NoSql数据库之一，也被人们称为数据结构存储服务务器。二、centos中安装redis首先添加 EPEL 仓库，

linux中安装packetbeat参考：https://download.csdn.net/download/d1240673769/43003625下面脚本可实现添加监听端口：vim add_packetbeat_ports:#!/bin/bash#add packetbeat ports# packetbeat安装路径packet_path='/usr/local/packetbeat'addPort(){ ports=`sed -n '/]\s*#/p' $packet_pat

将exchange服务器日志收集到logstash中，exchange日志包括AD域控服务器日志（主要收集登录日志）和exchange服务的transport日志和iis日志AD域日志收集在AD域控服务器上安装winlogbeat，配置文件如下：winlogbeat.event_logs: - name: Application tags: ["winlog"] fields_under_root: true ignore_older: 72h fields:

csv插件官方手册：https://www.elastic.co/guide/en/logstash/current/plugins-filters-csv.html#plugins-filters-csv-columns需求示例：用filebeat收集原始日志文件样例如下：filebeat 收集后进入logstash，利用logstash中的csv插件，将上述日志内容解析到指定的字段名中，如字段名依次为：“date_time”, “username”, “ssh_connection”, “pwd”

logstash收集日志时，日志记录中的@timestamp字段记录的是UTC标准时间，如果想转成北京时间（UTC +0800），可采用以下方式：filter { ruby { code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)" } ruby { code => "event.set('@timestamp',event.ge

logstash中将@timestamp转化为时间戳在 logstash.conf 配置文件中的 filter 模块中添加以下代码：ruby{ code => "event.set('unix_ms_time',(event.get('@timestamp').to_f.round(3)*1000).to_i)" #毫秒时间戳}上述配置后，会在日志中增加一个新的字段，字段名为 unix_ms_time，该字段为毫秒时间戳，如果想改成秒时间戳，需以下代码：ruby{ co

python通过pymongo链接mongodb数据库，并进行增、删、改、查等常用操作。1.连接mongodb# 链接mongodbclient = pymongo.MongoClient(host='127.0.0.1', port=27017, username='username', password='pwd'

python操作mongodb用到库包：pymongo1. 安装pymongopip install pymongo2. python 连接 mongodb2.1 关键字变量import pymongo# hots：mongodb服务器ip# port：端口，默认为27017# user：账号 【可选项】# pwd：密码 【可选项】client = pymongo.MongoClient( host='192.168.149.154',

mongodb常用操作1. 演示数据{"_id":1, "name":"张三", "age":18, "gender":true}{"_id":2, "name":"李四", "age":15, "gender":false}{"_id":3, "name":"王五", "age":30, "gender":true}{"_id":4, "name":"小明", "age":10, "gender":true}{"_id":5, "name":"小红", "age":8, "gender":fa

1. 安装环境系统：centos7mongodb版本：mongodb-linux-x86_64-rhel70-4.0.27.tgz2. 安装过程（1）将安装包上传到 centos7系统中（2）解压到 /data 目录下，并重命名tar zxvf mongodb-linux-x86_64-rhel70-4.0.27.tgz -C /datamv mongodb-linux-x86_64-rhel70-4.0.27 mongodb（3）配置环境变量在 /etc/profile 中加入下面一

一、python中安装python-kafka模块包系统环境：centos71. 在线安装pip install kafka-python2. 离线安装下载安装包 kafka-python-2.0.2.tar.gz （适合python2和python3）解压后执行：python setup.py install 二、python向kafka中发送日志kafka服务器：192.168.149.153:9092，将日志发送到 test1 主题中import jsonfrom kafk

1.centos7中安装docker安装依赖软件：$ sudo yum install -y yum-utils device-mapper-persistent-data lvm2设置仓库：$ sudo yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docke...

系统环境： centos7filebeat版本： 7.2配置方法1. 进入自启动目录：cd /lib/systemd/systemvim filebeat.service2.编写filebeat.service[Unit]Description=filebeatWants=network-online.targetAfter=network-online.target[Service]User=rootExecStart=/var/filebeat/filebeat -e -c

获取安装包winlogbeat下载地址：https://www.elastic.co/cn/downloads/beats/winlogbeat安装步骤解压到d:\以管理员身份打开PowerShell进入winlogbeat解压后的目录：cd d:\winlogbeat执行安装脚本.\install-service-winlogbeat.ps1注意： 如果在...

1. 安装好kibana和elasticsearch，并完成基本配置2. 在elasticsearch安装目录下，运行以下命令，生成证书文件bin/elasticsearch-certutil cert -out config/elastic-certificates.p12 -pass ""注意：用elasticsearch账号执行3. 在elasticsearch.yml配置文件末尾...

es服务地址：192.168.149.129:92001. 获取集群状态curl -XGET "192.168.149.129:9200/_cat/health?v&pretty" 2.获取索引curl -XGET "291.168.149.129:9200/_cat/indices?v&pretty"3.创建索引curl -H "Content-Type: a...

使用gsub对事件内容进行替换

1.安装 ： 解压tar.gz安装包2. 控制台采集数据，控制台输出在安装目录下执行：bin/logstash -e 'input { stdin {} } output { stdout {} }'等待logstash启动后，在控制台输入：hello word,回车 结果如下：json格式输出：bin/logstash -e 'input { stdin {} } output {...

filebeat的配置文件在安装目录下，filebeat.yml文件filebeat的部分主要定义prospector的列表，定义监控哪里的日志文件，关于如何定义的详细信息可以参考filebeat.yml中的注释，下面主要介绍一些需要注意的地方。paths：指定要监...

安装环境jdk1.8以上elasticsearch-7.0.1安装步骤1. 下载elasticsearch-7.0.1.tar.gz下载地址：https://www.elastic.co/downloads/elasticsearch，这里选择tar.gz格式的安装包elasticsearch-7.0.1-linux-x86_64.tar.gz2. elasticsearch 安装...

需求：logstash从kafka中消费数据，并通过udp转发出去。kafka中的日志格式为json，其中formatlog下面为需求数据，利用logstash提取formatlog里面的数。logstash配置：input { kafka { bootstrap_servers => "192.168.149.101:9092" #这里可以是kafka集群，...

安装环境：centos71. 安装将tar.gz安装包解压到指定目录中即可2.配置kibana.yml文件vim config/kibana.yml修改以下内容：连接elasticsearch修改系统语言：3. 启动cd bin./kibana...

1. 安装filebeat将tar.gz安装包进行解压即可2. 用filebeat监控指定文件，并将结果输出到logstash控制台（1）监控文件：/deng/log/test.log（2）配置filebeat.ymlvim filebeat.yml（3）配置logstashvim test2.conf（4）启动logstashbin/logstash -f test2....

1. 项目需求搭建一个kafka集群，用filebat收集linux主机日志输出到kafka集群，并通过logstash消费kafka中的数据2. 环境准备服务器系统IP角色centos7192.168.149.129zookeeper集群、kafka集群centos7192.168.149.128filebeat、logstash软件版...

组件介绍：Filebeat负责从web服务器上实时抓取数据，当log文件发生变化时，将文件内容吐给kafka。Kafka是消息队列，主要作用是在filebeat和logstash之间做缓存，避免因写入logstash的数据量过大，导致数据丢失。Zookeeper是kafka的分发系统，他负责维护整个kafka集群的负载均衡，在部署的时候，每个kafka节点上都要单独安装zookeeper，同...

1.安装两个为同一个安装包下载kafka.tgz安装包 http://mirrors.hust.edu.cn/apache/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz2.解压到指定目录3.Kafka&zookeeper的配置（1）配置zookeepervim config/zookeeper. properties如上图，图中所示的两个地...

系统环境：Centos7依赖环境：javaspark下载路径：http://mirrors.hust.edu.cn/apache/spark/spark-3.0.1/我这里下载的 spark 安装包是 spark-3.0.1-bin-hadoop2.7.tgz安装步骤：1.将安装包上传到服务器中2.解压安装包到指定的目录，如/data/tar zxvf spark-3.0.1-bin-hadoop2.7.tgz -C /data3.配置环境变量编辑 /etc/profile文件，在最后一