![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
日志处理平台工具
墨飏韶年
leetcode:https://leetcode-cn.com/problemset/all/
展开
-
使用fluentd实时收到nginx日志到mysql数据库
前言本篇介绍如何使用fluentd把nginx的log日志读取,并且解析成为一个一个MySQL的字段,最后存储到mysql的数据库中。环境我用的是aws的ec2,操作系统是amazon定制的Amazon Linux AMI安装fluentd使用root用户curl -L https://toolbelt.treasuredata.com/sh/install-redhat...转载 2018-09-19 11:41:37 · 913 阅读 · 0 评论 -
Fluentd 配置
[GitHub] https://github.com/fluent/fluentd[Doc] http://docs.fluentd.org/articles/config-file[Example] https://github.com/fluent/fluentd/tree/master/example默认配置文件:/etc/td-agent/td-agent.confFluen...转载 2018-09-19 14:57:17 · 2617 阅读 · 0 评论 -
用Fluentd实现收集日志到HDFS(上)
版权声明:本文来自行者(http://blog.csdn.net/liuyuan185442111),转载请注明出处。 https://blog.csdn.net/liuyuan185442111/article/details/47057571Fluentd是一个实时日志收集系统,它把日志作为JSON stream,可以同时从多台server上收集大量日志,也可以构建具有层次的日志收集系...转载 2018-09-25 17:29:00 · 390 阅读 · 0 评论 -
用Fluentd实现收集日志到HDFS(下)
本篇主要包含Fluentd的配置文件格式,in_tail输入插件,out_webhdfs输出插件的部分内容。Fluentd的配置文件主要包含以下字段source,决定数据来源 match,决定输出目的地 filter,在输入与输出之间,用来过滤 system,用来进行系统设置from:http://docs.fluentd.org/articles/config-filesou...转载 2018-09-25 17:36:28 · 220 阅读 · 0 评论