ElasticSearch
|ChuckChen|
本博客为记录作者平时测试与学习笔记,并分享给大家。专注原创。希望可以带给大家一些技术上的分享。
本博客仅作者本人所有, 与 AWS 官方没有任何关联。所有言论也仅代表作者本人。
展开
-
Postgresql - Foreign data wrappers - ElasticSearch
Postgresql的Foreign data wrapper不仅可以读取数据库,还可以读取文件系统,大数据存储等。这一篇我们看一下PG该如何建立ES的外部表。插件代码https://github.com/matthewfranglen/postgres-elasticsearch-fdw 安装# git clone https://github.com/Kozea/Mul...原创 2018-07-25 17:13:16 · 501 阅读 · 0 评论 -
ElasticSearch - configuration - elasticsearch.yml
Path settingspath:logs: /data/eslogdata:- /data/esdata01- /data/esdata02- /data/esdata03 Cluster name: 一个节点只能加入一个集群。请确保不要在不同的环境中重用相同的集群名称,否则最终可能会导致节点加入错误的集群。cluster.name: mytest ...原创 2019-01-04 18:30:09 · 396 阅读 · 0 评论 -
ELK - Filebeats - Modules
Filebeat modules 简化了常见日志格式的收集、解析和可视化。典型的模块(例如,对于Nginx日志)由一个或多个文件集组成(对于Nginx,访问和错误)。文件集包含以下内容: Filebeat 输入配置,其中包含查找日志文件的默认路径。这些默认路径取决于操作系统。Filebeat配置还负责在需要时将多行事件拼接在一起。Elasticsearch Ingest Node流...原创 2018-12-25 15:50:42 · 383 阅读 · 0 评论 -
ELK - Logstash - Configuration Files
环境:Logstash 6.5.4-----------------------------------------------------------------------Logstash有两种类型的配置文件:Pipeline configuration files:定义Logstash处理管道的管道配置文件settings files:指定控制Logstash启动和执行的选项...原创 2018-12-24 19:42:26 · 352 阅读 · 0 评论 -
ELK - LogStash - 安装配置
Logstash 是一个具有 real-time pipelining功能的开源数据收集引擎。Logstash可以动态地统一来自不同源的数据,并将数据规范化到选择的目的地。为不同的高级下游分析和可视化用例清理并民主化所有数据。虽然Logstash最初推动了日志收集方面的创新,但是它的能力远远超出了这个。任何类型的事件都可以通过广泛的输入、过滤器和输出插件数组来丰富和转换,许多本地编解码器进...原创 2018-12-24 16:41:37 · 295 阅读 · 0 评论 -
ELK - Logstash - How logstash works
Logstash事件处理管道有三个阶段:输入 - 过滤器 - 输出。输入生成事件,过滤器修改它们,输出将它们传送到其他地方。输入和输出支持编解码器,使您能够在数据进入或退出管道时对数据进行编码或解码,而无需使用单独的过滤器。 输入:file:从文件系统上的文件读取,非常类似于UNIX命令tail-0Fsyslog:在众所周知的端口514上侦听syslog消息并根据RFC3164...原创 2018-12-24 16:37:27 · 152 阅读 · 0 评论 -
ELK - filebeat - Multiline Configuration
日志中出现多行,该如何跟踪。使用filebeat中的multiline配置,在日志跟踪的时候,直接 multiline.negate:定义模式是否被否定。默认值是false。multiline.match:指定Filebeat如何将匹配行组合到事件中。设置是在后面或之前。 negate match result ...原创 2018-12-28 19:12:16 · 342 阅读 · 0 评论 -
ELK - Logstash - 过滤日志输出
通过Filebeat + ELK 可以部署一个日志过滤的程序。可以将过滤出来的日志记录保存到任何地方,做保存、计算等用途。 实验开始了!我们过滤出错误日志,再输出==============================================================================日志格式:2018-12-27 21:48:50...原创 2018-12-28 10:55:05 · 2558 阅读 · 0 评论 -
ELK - Filebeat - How to work
Filebeat 主要由两个组成部分:输入和采集器。由两个主要部分组成:输入和采集器(harvester)。 采集器负责读取单个文件的内容。采集器逐行读取每个文件,并将内容发送到输出。每个文件启动一个收获器。采集器负责打开和关闭文件,这意味着文件描述符在采集器运行时保持打开。如果在获取文件时删除或重命名文件,Filebeat将继续读取该文件。这样做的副作用是磁盘上的空间被保留到采集器关...原创 2018-12-27 19:50:19 · 152 阅读 · 0 评论 -
ELK - Logstash - Grok filter plugin
解析任意文本。Grok是一种将非结构化日志数据解析为结构化和可查询内容的好方法。该工具非常适合于syslog日志、apache和其他web服务器日志、mysql日志,以及一般情况下任何为人类编写的日志格式,而不适合于计算机使用。 Grok or Dissect ? Or both?dissect filter plugin是使用分隔符将非结构化事件数据提取到字段中的另一种方法。...原创 2018-12-27 18:36:04 · 292 阅读 · 0 评论 -
ELK - Logstash - Transforming Data
Performing Core Operations-----------------------------------------------------------date filter解析字段中的日期,用作事件的Logstash时间戳。filter { date { match => [ "logdate", "MMM dd yyyy HH:mm:ss"...原创 2018-12-27 17:46:15 · 139 阅读 · 0 评论 -
ELK - Filebeat - 安装配置
实验环境:CentOS 7 1. 安装:curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.5.4-x86_64.rpm sudo rpm -vi filebeat-6.5.4-x86_64.rpm curl -L -O https://artifacts.elastic.c...原创 2018-12-21 20:31:17 · 249 阅读 · 0 评论 -
ElasticSearch - 安装
elasticsearch 是目前比较流行的开源的分布式存储。Elasticsearch + Logstash + Kibana组成ELK,目前比较流行的日志分析系统。安装ElasticSearch相对简单,只需要下载安装包,解压,配置,启动即可。官网地址:https://www.elastic.co1. 下载wget https://artifacts.elastic.co/downloads/...原创 2018-07-14 16:01:34 · 214 阅读 · 0 评论 -
ELK - Logstash - Data Resiliency
当数据流过事件处理管道时,Logstash可能会遇到阻止它向配置的输出传递事件的情况。例如,数据可能包含意外的数据类型,或者Logstash可能异常终止。为了防止数据丢失并确保事件流过管道而不中断,Logstash提供了以下数据弹性特性。持久队列通过在磁盘上的内部队列中存储事件来防止数据丢失。Dead Letter Queues 为Logstash无法处理的事件提供磁盘存储。通过使用 ...原创 2018-12-25 18:50:25 · 704 阅读 · 0 评论