分布式日志系统
文章平均质量分 58
快乐的霖霖
一个人默默的奋斗者
展开
-
几个开源日志分析系统介绍
几个开源日志分析系统检索转载 2014-06-01 16:42:46 · 7767 阅读 · 0 评论 -
基于inotify机制的日志收集方法
基于inotify机制的日志收集方法 考虑使用tail file的方法来采集日志数据:每1秒钟去扫描一次被监控文件的尾部,根据上一次的读取位置和当前文件尾部的偏移量,把新写入的数据读出来,并记录当前读取位置。 这种方法有以下特点:只需对原始日志持有读权限,安全性不错。日志收集的时间粒度不够细,无法应对高并发的监控需原创 2015-09-07 00:44:29 · 3077 阅读 · 0 评论 -
分布式服务的Trace——Google Dapper & Twitter Zipkin
分布式服务的Trace——Google Dapper & Twitter Zipkin对于分布式在线服务,一个请求需要经过系统中多个模块,上百台机器的协作完成单次请求,典型场景就是Search Engine的一次用户检索,单靠人力无法掌握整个请求中各个阶段的性能开销,更无法快速的定位系统中性能瓶颈。Google Dapper文章描述了广泛用于Google内部服务的Trace I转载 2016-01-24 18:28:10 · 7713 阅读 · 0 评论 -
非常好的介绍分布式log文章: The Log
非常好的介绍分布式log文章: The Log前言这是一篇学习笔记。学习的材料来自Jay Kreps的一篇讲Log的博文。原文很长,但是我坚持看完了,收获颇多,也深深为Jay哥的技术能力、架构能力和对于分布式系统的理解之深刻所折服。同时也因为某些理解和Jay哥观点吻合而略沾沾自喜。Jay Kreps是前Linkedin的Principal Staff Enginee转载 2016-01-28 01:00:32 · 2704 阅读 · 0 评论 -
syslog协议介绍
syslog协议介绍syslog架构Unix/Linux系统中的大部分日志都是通过一种叫做syslog的机制产生和维护的。syslog是一种标准的协议,分为客户端和服务器端,客户端是产生日志消息的一方,而服务器端负责接收客户端发送来的日志消息,并做出保存到特定的日志文件中或者其他方式的处理。在Linux中,常见的syslog服务器端程序是syslog原创 2016-03-27 00:29:43 · 20705 阅读 · 0 评论 -
rsyslog, logstash如何结合收集处理日志信息
rsyslog, logstash如何结合收集处理日志信息一. 简介 rsyslog是日志收集工具,现在很多Linux都自带rsyslog,用其替换掉syslog。 rsyslog本身有一个配置文件 /etc/rsyslog.conf,里面定义了日志文件,以及相应保存的地址。 Logstash是一款轻量级的日志搜集处理框架,可以方便的原创 2016-07-31 16:50:31 · 3098 阅读 · 0 评论 -
Twitter是如何构建高性能分布式日志的
Twitter是如何构建高性能分布式日志的在Twitter,他们使用复制日志来解决分布式系统中存在的一系列问题。比如,他们有一个Manhattan分布式键值数据库。该系统采用了一种灵活的最终一致性数据模型,允许开发者以一致性换取低延迟。写入操作会单独应用到数据集的所有副本,Manhattan会保证各个副本的数据最终一致。但是,应用程序在查询一个刚刚更新过的数据集时可能会因为读取转载 2016-01-10 21:46:15 · 999 阅读 · 0 评论 -
filebeat工作原理
Filebeat工作原理Filebeat是本地文件的日志数据采集器。 作为服务器上的代理安装,Filebeat监视日志目录或特定日志文件,tail file,并将它们转发给Elasticsearch或Logstash进...转载 2018-10-30 00:15:22 · 2505 阅读 · 0 评论 -
分布式系统核心—日志
分布式系统的核心组件:日志。有时也叫write-ahead logs 、commit logs 或者事物 logs, 通常指在应用所有的修改之前先写入日志,一般会将重放日志、撤销日志都写进去。 NoSQL数据库、KV存储、Hadoop、raft、paxos 以及版本控制等等,这些中间件或者协议本质上都或多或少依赖于日志,可以发现日志一直都在分布式系统中扮演者非常重要的角色。 ...原创 2019-02-17 17:56:54 · 5781 阅读 · 1 评论