日志收集
qcg_qcg
将记录转变为思考
展开
-
Fluentd学习笔记
转载自:https://blog.laisky.com/p/fluentd/fluentd 学习笔记fluentd 学习笔记最近为了做一些数据分析,把我自己服务器上所有应用的日志都通过 fluentd 转存到 mongodb 了,第一次用 fluentd,记录一些笔记。因为是初学,绝大部分内容来源于官方文档2,等实际线上使用一段时转载 2016-12-08 16:39:02 · 21089 阅读 · 1 评论 -
使用fluentd监控docker日志时加入容器id
td-agent.conf配置文件内容如下:<source> type tail read_from_head true path /var/lib/docker/containers/*/*-json.log pos_file /var/log/fluentd-docker.pos time_format %Y-%m-%dT%H:%M:%S tag docker.* f原创 2017-02-15 15:38:07 · 2329 阅读 · 0 评论 -
CentOS 7上安装Kafka
简介Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端,可与Hadoop、Storm、Spark等其它大数据工具结合使用。本教程主要介绍Kafka 在Centos 7上的安装和使用,包括功能验证和集群的简单配置。转载 2017-03-16 10:59:46 · 461 阅读 · 0 评论