fluentd mysql_使用Fluentd + MongoDB构建实时日志收集系统

于 2021-02-23 13:21:18 发布
阅读量355 收藏
点赞数
文章标签： fluentd mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42526166/article/details/114497407
版权

日志处理场景

日志量大

日志分散不易进行统一分析

难以添加有效监控

系统实现

Fluentd(td-agent)

MongoDB

Python Script(PyMongo module)

Zabbix

解决方案

系统架构

Fluentd+Mongodb+Python+zabbix

Fluentd实时收集LB日志，JSON化，存入中央Mongodb

Python程序查询Mongodb数据进行实时计算；计算结果存入zabbix；zabbix负责告警及图形展现

19baba5078fe2a94f7ef9610e0f32c2f.png

Fluentd/Mongodb架构图

Fluentd介绍

Fluentd is an open source data collector for unified logging layer.

Fluentd allows you to unify data collection and consumption for a better use and understanding of data.

Fluentd是一个日志收集系统，它的特点在于其各部分均是可定制化的，你可以通过简单的配置，将日志收集到不同的地方。

35a2044aa2f47ce7fb9f0ada12d457bb.png

fluentd说明

在不使用plugin的情况下Fluentd仅仅是将日志输入转化为JSON格式输出的工具；各类plugin极大拓展了Fluentd的功能

Fluentd plugin最重要的有如下三种：

Input plugin 定义日志来源标准化，输入的格式

Buffer plugin 定义fluentd缓存的配置以实现可靠性

Output Plugin 定义输出的格式及目的地，可以是文件，网络&

最低0.47元/天 解锁文章
苑强
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
fluentd tail mysql_使用fluentd实现实时收集日志文件
weixin_30783981的博客
01-26 673
目前线上服务使用了k8s进行部署，一个服务配置了多个副本，然后日志是挂载到宿主机器的目录的，所以当服务部署到三台机器时，这时要查看业务日志，就必须依次登录三台服务器来看日志。显然，这非常地不方便。团队想把日志收集到一个地方统一查看。于是开始尝试各种方案。尝试1. elasticsearch + fluentd + in_tail(input) + fluent-plugin-elasticsear...
Elasticsearch+Fluentd+Kafka搭建日志系统
01-20
前言 由于logstash内存占用较大,灵活性相对没那么好,ELK正在被EFK逐步替代.其中本文所讲的EFK是Elasticsearch+Fluentd+Kfka,实际上K应该是Kibana用于日志的展示,这一块不做演示,本文只讲述数据的采集流程. 前提 docker docker-compose apache kafka服务 架构 数据采集流程 数据的产生使用cadvisor采集容器的监控数据并将数据传输到Kafka. 数据的传输链路是这样: Cadvisor->Kafka->Fluentd->elasticsearch 每一个服务都可以横向扩展,添加服务到日志系统中. 配置文件 dock
fluentd mysql_使用fluentd实时收到nginx日志到mysql数据库
weixin_39833270的博客
01-25 156
前言本篇介绍如何使用fluentd把nginx的log日志读取，并且解析成为一个一个MySQL的字段，最后存储到mysql的数据库中。环境我用的是aws的ec2，操作系统是amazon定制的Amazon Linux AMI安装fluentd使用root用户curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh...
fluentd tail mysql_最简单的Fluentd日志采集示例
weixin_42279320的博客
01-19 495
Fluentd通过读取配置文件来加载各插件，日志经由各插件的处理完成输入到输出的整个路由。本文通过一个最简单的示例来说明配置文件的结构。td-agent.conf默认位于/etc/td-agent/下，先来看一下配置文件：@type tailpath /home/fluentd/test.logpos_file /var/log/td-agent/test.postag fluent.test@t...
用Fluent实现MySQL到ODPS数据集成
weixin_33912638的博客
05-26 149
安装ruby 首先通过 /etc/issue 命令查看当前使用centos是哪个版本： [hadoop@hadoop03~]$cat/etc/issue 由于centos版本是6.6，安装ruby时就要选择在centos 6.X环境，具体安装步骤参考如下所示即可！ yum install gcc-c++ patch readline re...
使用fluentd实时收到nginx日志到mysql数据库
mark's technic world
05-17 1960
前言本篇介绍如何使用fluentd把nginx的log日志读取，并且解析成为一个一个MySQL的字段，最后存储到mysql的数据库中。环境我用的是aws的ec2，操作系统是amazon定制的Amazon Linux AMI安装fluentd使用root用户curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh...
使用fluentd作为docker日志驱动收集日志
01-07
docker默认的日志驱动是json-file,每一个容器都会在本地生成一个/var/lib/docker/containers/containerID/containerID-json.log,而日志驱动是支持扩展的,本章主要讲解的是Fluentd驱动收集docker日志. Fluentd是用于...
fluentd_elastic_kibana-tar镜像安装包
05-21
fluentd_elastic_kibana安装k8s所需的安装包，里面分别包括google_containers-elasticsearch_1.8.tar.gz、google_containers-kibana_1.3.tar.gz、kubernetes-fluentd-elasticsearch.tar.gz，详见安装包，免去docker ...
fluentd 日志收集组件
01-19
https://blog.csdn.net/weixin_46560589/article/details/128727196 文章【Kubernetes 企业项目实战】04、基于 K8s 构建 EFK+logstash+kafka 日志平台（下）安装收集日志组件 Fluentd 所需镜像文件！
fluent-plugin-concat:Fluentd Filter插件可连接多个事件中分隔的多行日志
05-06
Fluentd Filter插件可连接多个事件中分隔的多行日志。 要求 流利的插件 流利的 Ruby > = 2.0.0 > = v0.14.0 > = 2.1 <2> = v0.12.0 > = 1.9 安装 将此行添加到您的应用程序的Gemfile中： gem 'fluent-plugin-...
fluent-plugin-mysql-binlog:用于Fluentd事件收集器MySQL Binlog输入插件
05-06
fluent-plugin-mysql-binlog， 的插件 用于Fluentd事件收集器MySQL Binlog输入插件。 安装 将此行添加到您的应用程序的Gemfile中： gem 'fluent-plugin-mysql-binlog' 然后执行： $ bundle 或将其自己安装为： $ gem install fluent-plugin-mysql-binlog 配置 配置样本 <source> type mysql_binlog host localhost # Optional (default: localhost) port 3306 # Optional (default: 3306) username msandbo
fluent-plugin-sql：FluentdSQL输入输出插件
01-28
用于事件收集器SQL输入插件 总览 此SQL插件分为两个部分： SQL输入插件会定期从RDBMSes读取记录。 一个示例用例将是获取表的“ diff”（基于“ updated_at”字段）。 将记录写入RDBMSesSQL输出插件。 一个示例用例是将服务器/应用程序/传感器日志聚合到RDBMS系统中。 要求 流利的插件SQL 流利的 Ruby > = 1.0.0 > = v0.14.4 > = 2.1 <1> = 1.9 注意：fluent-plugin-sql v2的缓冲区格式与v1不同。 如果您将插件更新为v2，请不要重复使用v1的缓冲区。 安装 $ fluent-gem install fluent-plugin-sql --no-document $ fluent-gem install pg --no-document # for postgresql 您应该一起安装实际的RDBMS驱动程序gem。 pg gem用于postgresql适配器， mysql2 gem用于mysql2适配器。 支持的其他适配器也可以工作。 我们建议
自学nginx（五）: 使用fluentd搬运log到mysql
英悟的博客
08-30 1913
前言本篇介绍如何使用fluentd把nginx的log日志读取，并且解析成为一个一个mysql的字段，最后存储到mysql的数据库中。环境我用的是aws的ec2，操作系统是amazon定制的Amazon Linux AMI安装fluentd使用root用户curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh
fluentd+mongodb构建分布式日志收集系统
kwame211的博客
12-14 683
前言：  和同事合作安装过一次fluentd+mongodb，网上文档较少，走了好多弯路，幸亏同事比较给力，能成功应用，现将安装笔记记录一下  。（这里只安装了一台，分布式也是一样的，使用mongodb集群即可） 一、 mongodb单机安装 1.1 下载解压并安装 下载mongodb-linux-x86_64-3.4.6.tgz ， 镜像地址  https://www.mongodb.org/...
fluentd tail mysql_fluentd学习——tail（输入插件） | 学步园
weixin_35304632的博客
01-19 203
tail(输入插件)tail Input PluginThein_tailInput plugin allows Fluentd to read events from the tail of text files. Its behavior is similar to thetail -Fcommand.in_tail输入插件允许fluentd从文本文件的尾部读事件。它的行为类似于tail-f...
利用fluentd java客户端收集数据到influxDB
weixin_39892176的博客
02-17 670
前提环境： 1.安装docker 2.安装好influxDB A.fluent安装配置 目录结构如下 1.编写fluent.conf配置文件 <source> @type forward port 24224 bind 0.0.0.0 </source> <match **> @type influxdb host ...
使用Fluentd和MongoDB构建日志收集系统
weixin_33912246的博客
02-28 91
Fluentd是一个日志收集系统，它的特点在于其各部分均是可定制化的，你可以通过简单的配置，将日志收集到不同的地方。本文要介绍的是在Fluentd的最新版中已经内置的MongoDB支持。主要通过一个收集Apache/nginx日志的例子来说明其使用方法：机制图解安装Fluentd设置yum源vi /etc/yum.repos.d/td.repo[treasuredata]na...
fluentd存入mysql
最新发布
06-05
Fluentd是一个开源的数据收集器，它可以将日志或其他数据从不同的源头（如应用程序、服务器、传感器等）收集起来，并将其传输到多个不同的目标（如MySQL、Elasticsearch、Hadoop等）。其中，将数据存储到MySQL是常见的应用场景之一。具体来说，Fluentd可以通过使用相应的插件（如fluent-plugin-mysql）来将收集到的数据直接写入MySQL数据库。 一般而言，Fluentd将数据流视为一系列事件，每个事件包含一些元数据和一个结构化的记录。在将数据存储到MySQL之前，我们需要定义MySQL数据库表的结构，以及Fluentd中如何解析记录并将其映射到表中的列。这可以通过Fluentd的配置文件进行定义，具体步骤如下： 1. 安装fluent-plugin-mysql插件（可以通过Fluentd官方网站提供的插件库进行安装）； 2. 在MySQL数据库中创建一个表，用于存储收集到的数据。表的列数和类型应与记录中的字段相对应； 3. 在Fluentd配置文件中添加MySQL输出插件，并指定要连接的MySQL数据库、表名以及要映射到表中的列。可以使用SQL语句或Ruby脚本进行复杂的数据转换和处理； 4. 启动Fluentd并验证数据是否已成功存储到MySQL中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值