linux audit 日志发送,Flume采集rsyslog发送的audit日志

推荐文章

本文内容可查看目录

本文内容包含单节点(单agent)和多节点(多agent，采集远程日志)说明

一、环境

linux系统：Centos7 Jdk：1.7

Flume：1.7.0

二、安装

linux中jdk、mysql的安装不多赘述

flume1.7的安装：进入官网：http://flume.ap

推荐文章

一、Flume的安装部署

下载解压 tar -zxvf flume-ng-1.5.0-cdh5.3.6.tar.gz -C /opt/cdh-5.3.6/

重命名 mv apache-flume-1.5.0-cdh5.3.6-bin flume-1.5.0-cdh5.3.6-bin

修改配置文件

推荐文章

flume配置文件如下：

# Name the components on this agent

app1.sources = r1

app1.sinks = k1

app1.channels = c1

# Describe/configure the source

app1.sources.r1.type = avro

app1.

推荐文章

前言

很多web应用会选择ELK来做日志采集系统，这里选用Flume，一方面是因为熟悉整个Hadoop框架，另一方面，Flume也有很多的优点。

关于Apache Hadoop Ecosystem 请点击这里。

Cloudera 官方的教程也是基于这个例子开始的，get-started-with-hadoop-tutorial

并且假设

推荐文章

一、整体架构部署图, 如下：

本图只是一个大概的描述，真实的情况会有所差异，后台部署采用二级负载均衡：一级lvs，二级nginx。日志框架采用flume(两种

推荐文章

基于上一篇文章http://www.voidcn.com/article/p-btqylqad-bbe.html  相对比较细致的分析后，该文章将对LoadBalancingSinkProcessor源码进行选择性的重要逻辑代码进行讲解

首先读取配置，当然是重写congifure方法

public void configure

推荐文章

好久没写博客了。最近在研究storm、flume和kafka。今天给大伙写下我测试flume failover以及load balance的场景以及一些结论；

测试环境包含5个配置文件，也就是5个agent。

一个主的配置文件，也就是我们配置failover以及load balance关系的配置文件(flume-sink.propertie

推荐文章

Flume

实验环境： shiyanlou - CentOS6.6 64 - JDK 1.7.0_55 64 - Hadoop 1.1.2

Flume 介绍

Flume是Cloudera提供的日志收集系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各

推荐文章

最近研究了一下日志收集，用于简单的日志收集和查看。首先架构比较简单，架构如图：

flume负责日志收集，然后将数据直接传送给elasticesearch,然后kibana 负责做展示。在某些复杂的结构中，可能会将flume收集的日志发送给Kafka，然后由kafka做分发，分发给不同的数据处理系统，本文是最简洁的方式。

flume两层a

推荐文章

在使用flume收集数据，转换为json格式时，常常遇到特殊符号的问题，而json对于”引号，是非常敏感的，大家处理json数据的时候，要特别注意，在前不久，向es插入数据时，报错就是json转换失败

原因：

json通用格式：

推荐文章

升级elasticsearch到2.2，kibana升级到4.4.1，各种报错，各种有问题。

下面是整理的文档：

elasticsearch 2.2安装

[root@laiym ~]# tar zxvf elasticsearch-2.2.0.tar.gz

[root@laiym ~]# mv elastics

推荐文章

客户端splunk02上配置

[root@splunk02 ~]# vim /etc/rsyslog.conf

在13行添加

#### 采集linux audit日志 ###############

$ModLoadimfile

$InputFileName/var/log/audit/audit.log

推荐文章

FLUME第三方jar的使用，解析事件里的时间，监控目录下的文件，连接elasticsearch 2.2。分别为一个拦截器、一个source和一个sink。

1.1     flume_EventTimeSamp.jar

用途：因为FLUME本身对时间戳的解析比较弱，该jar用于将事件中的时

推荐文章

上一篇写的采用tail -F的方式采集数据，但对于远程的客户端实现需要借助其他软件或服务，如centos 6.4默认自带的rsyslog。下述为配置：

[root@laiym ~]# cd /usr/local/flume/

[root@laiym ~]# vim syslog-es.conf

#文件名称为syslog-es.con

推荐文章

Flume启动一般会报两种错，一种是log4j没有配置，另外一种就是缺少各种jar包。SO:

[root@laiym ~]# cp /usr/local/elasticsearch/lib/*/usr/local/flume/lib/

如果有相同的jar包不用覆盖

下述为flume到elasticsearch的一个

推荐文章

最近要做一个ELK的架构做日志采集，中间数据采集由logstash更换为flume。下述为flume的安装：

因为flume和Elasticsearch都是用java开发的，因此安装前先将java部署上，ES不支持java 1.7，因为有重大bug，因此选择 jdk-8u51-linux-x64.rpm。

安装路径packag

« 上一页