![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
日志处理平台工具
墨飏韶年
leetcode:https://leetcode-cn.com/problemset/all/
展开
-
使用fluentd实时收到nginx日志到mysql数据库
前言 本篇介绍如何使用fluentd把nginx的log日志读取,并且解析成为一个一个MySQL的字段,最后存储到mysql的数据库中。 环境 我用的是aws的ec2,操作系统是amazon定制的Amazon Linux AMI 安装fluentd 使用root用户 curl -L https://toolbelt.treasuredata.com/sh/install-redhat...转载 2018-09-19 11:41:37 · 913 阅读 · 0 评论 -
Fluentd 配置
[GitHub] https://github.com/fluent/fluentd [Doc] http://docs.fluentd.org/articles/config-file [Example] https://github.com/fluent/fluentd/tree/master/example 默认配置文件:/etc/td-agent/td-agent.conf Fluen...转载 2018-09-19 14:57:17 · 2617 阅读 · 0 评论 -
用Fluentd实现收集日志到HDFS(上)
版权声明:本文来自行者(http://blog.csdn.net/liuyuan185442111),转载请注明出处。 https://blog.csdn.net/liuyuan185442111/article/details/47057571 Fluentd是一个实时日志收集系统,它把日志作为JSON stream,可以同时从多台server上收集大量日志,也可以构建具有层次的日志收集系...转载 2018-09-25 17:29:00 · 390 阅读 · 0 评论 -
用Fluentd实现收集日志到HDFS(下)
本篇主要包含Fluentd的配置文件格式,in_tail输入插件,out_webhdfs输出插件的部分内容。 Fluentd的配置文件主要包含以下字段 source,决定数据来源 match,决定输出目的地 filter,在输入与输出之间,用来过滤 system,用来进行系统设置 from:http://docs.fluentd.org/articles/config-file sou...转载 2018-09-25 17:36:28 · 220 阅读 · 0 评论