职场里拉开差距的不是知识，而是认知！

标准输入配置示例：input {stdin {add_field => {"key" => "value"}codec => "plain"tags => ["add"]type => "std"      }}解释:type 和 tags 是 logstash 事件中两个特殊的字段。通常来说我们会在输入区段中通过 type 来标记事件类型 —— 我

编码插件(Codec)Codec 是 logstash 从 1.3.0 版开始新引入的概念(Codec 来自 Coder/decoder 两个单词的首字母缩写)。在此之前，logstash 只支持纯文本形式输入，然后以过滤器处理它。但现在，我们可以在输入 期处理不同类型的数据，这全是因为有了 codec 设置。所以，这里需要纠正之前的一个概念。Logstash 不只是一个 input

读取文件Logstash 使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持 glob 展开文件路径，而且会记录一个叫.sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。所以，不要担心 logstash 会漏过你的数据。sincedb 文件中记录了每个被监听的文件的 inode, major number, minor number 和 pos

长期运行完成上一节的初次运行后，你肯定会发现一点：一旦你按下 Ctrl+C，停下标准输入输出，logstash 进程也就随之停止了。作为一个肯定要长期运行的程序，应该怎么处理呢？本章节问题对于一个运维来说应该属于基础知识，鉴于 ELK 用户很多其实不是运维，添加这段内容。办法有很多种，下面介绍四种最常用的办法：标准的 service 方式采用 RPM、DEB 发行包安装的读者，推荐

syslog 可能是运维领域最流行的数据传输协议了。so，这里不解释如何配置你的 syslog.conf , rsyslog.conf 或者 syslog-ng.conf 来发送数据，而只讲如何把 logstash 配置成一个 syslog 服务器来接收数据。配置示例input {syslog {port => "514"｝}运行作为最简单的测试，我们先暂停一下

collectd简述collectd 是一个守护(daemon)进程，用来收集系统性能和提供各种存储方式来存储不同值的机制。它会在系统运行和存储信息时周期性的统计系统的相关统计信息。利用这些信息有助于查找当前系统性能瓶颈（如作为性能分析 performanceanalysis ）和预测系统未来的 load（如能力部署 capacity planning ）等下面简单介绍一下: collectd

采用 JSON 编码在早期的版本中，有一种降低 logstash 过滤器的 CPU 负载消耗的做法盛行于社区(在当时的 cookbook 上有专门的一节介绍)：直接输入预定义好的 JSON 数据，这样就可以省略掉 filter/grok 配置！这个建议依然有效，不过在当前版本中需要稍微做一点配置变动 —— 因为现在有专门的 codec 设置。配置示例nginx.conf 示例

操作系统，应用服务和业务逻辑，都在不停的产生日志数据。过去，日志数据基本都存在单机磁盘上，只能用来做临时的事后分析和审计；有 Hadoop 以后，大家渐渐习惯收集日志到 HDFS 中，然后每天运行 MapReduce 任务做统计报表；但是面对诸如“新上线的版本过去几分钟在各地反馈如何”，“昨天 23:40 左右这个投诉用户有没有异常”这种即时的开放性问题，传统的日志处理方案显得非常的笨拙和低效，因

读取网络数据（TCP）未来你可能会用 Redis 服务器或者其他的消息队列系统来作为 logstash broker 的角色。不过 Logstash 其实也有自己的TCP/UDP 插件，在临时任务的时候，也算能用，尤其是测试环境。小贴士：虽然 LogStash::Inputs::TCP 用 Ruby 的 Socket 和 OpenSSL 库实现了高级的 SSL 功能，但 Logstash 本身

步骤 1. 理解 ELK Stack0 在设置您自己的 ELK 堆栈之前，了解一点关于该堆栈及其组件的知识会对您有所帮助。ELK Stack 由三个组件组成：Logstash、Elasticsearch 和 Kibana。Logstash 是一个用来管理日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收