文章讲述了Logstash的数据管道设计，包括DSL、Input、Filter和Output的使用，以及如何与Elasticsearch、Kibana等集成。同时提到Linux运维的学习资源，强调了Logstash在实际场景中的角色和Kibana的数据分析能力。
Logstash设计了自己的DSL，包括有区域，注释，数据类型(布尔值，字符串，数值，数组，哈希)，条件判断，字段引用等。
Logstash的数据管道包含三个步骤，Input，Filter和Output，每一步都可以通过plugin来扩展。另外Input和Output还支持配置Codecs，完成对输入输出数据的编解码工作。
Logstash支持的常见的Input包含File，syslog，beats等。Filter中主要完成数据的格式化处理，可以增删改字段，加标签等等。
Logstash中Output插件不仅仅支持ElasticSearch，还可以和许多其它软件集成和目标，Output可以是文件，数据库，S3，Hadoop等等。
logstash进程在实际运用中，会被分为两个不同的角色。运行在应用服务器上的，尽量减轻运行压力，只做读取和转发，这个角色叫做 shipper；运行在独立服务器上，完成数据解析处理，负责写入 Elasticsearch 的角色，叫 indexer。
logstash 作为无状态的软件，配合消息队列系统，可以很轻松的做到线性扩展
ü Kibana介绍
Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看、交互存储在Elasticsearch索引中的数据。使用Kibana可以通过各种图表进行高级数据分析及展示。
l Splunk
Splunk是大数据领域第一家在纳斯达克上市公司。
Splunk提供一个机器数据的搜索引擎。使用 Splunk 可收集、索引和利用所有应用程序、服务器和设备（
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
