es-logstash
尘光掠影
摒弃洋洋洒洒、长篇大论的博客,用最简洁的代码,讲清楚最复杂的道理~
展开
-
ELK数据抽取工具logstash报错:Your application used more memory than the safety cap of 1G
问题来源 logstash在数据量少的情况下,是正常抽取数据的,但当多台服务器一起启动logstash去抽取大量数据的时候,logstash就会出现Your application used more memory than the safety cap of 1G的问题,进而抽取程序就停掉了;问题说明 从报错的提示来看,很明显就是内存溢出的问题(logstash的默认服务分配原创 2018-01-05 00:01:51 · 2037 阅读 · 0 评论 -
ELK生态:Logstash通过sql导入地理坐标到ES,数据格式为数组
简介1.ELK生态之Logstash通过sql导入地理坐标GeoPoint数据到Elasticserch;2. 数据源:mysql数据表,数据表含地理坐标——lon(经度),lat(纬度);3. Elasticsearch和Logstash版本:5.6.1;4. GeoPoint地理位置信息可以使用三种数据格式表示:(1) 以半角逗号分割的字符串形式表示——"lat,lon...原创 2019-06-18 10:15:21 · 1025 阅读 · 0 评论 -
ELK生态:Logstash通过sql导入地理坐标到ES,数据格式为对象
简介1.ELK生态之Logstash通过sql导入地理坐标GeoPoint数据到Elasticserch;2. 数据源:mysql数据表,数据表含地理坐标——lon(经度),lat(纬度);3. Elasticsearch和Logstash版本:5.6.1;4. GeoPoint地理位置信息可以使用三种数据格式表示:(1) 以半角逗号分割的字符串形式表示——"lat,lon...原创 2019-06-17 20:32:25 · 1750 阅读 · 0 评论 -
ELK生态:Logstash读取json格式文件数据,导入到Elasticsearch
简介ELK生态之Logstash导入数据到Elasticsearch; 数据源:json格式文件,内容为json; Elasticsearch和Logstash版本:5.6.1; 前提环境:Elasticsearch单机或集群;Logstash客户端;实践json文件内容:{"name":"sixmonth","age":"23","sex":"男","address":"深圳...原创 2019-06-17 15:38:43 · 9142 阅读 · 2 评论 -
ELK生态:Logstash增量读取log文件数据,导入到Elasticsearch
简介ELK生态之Logstash导入数据到Elasticsearch; 数据源:log格式文件,内容为log日志; Elasticsearch和Logstash版本:5.6.1; 前提环境:Elasticsearch单机或集群;Logstash客户端;实践log文件内容:01-Apr-2019 08:17:04.787 SEVERE [ajp-nio-8009-exec-7] ...原创 2019-06-17 11:07:43 · 4648 阅读 · 0 评论 -
ELK生态:Logstash增量读取txt文件数据,导入到Elasticsearch
简介ELK生态之Logstash导入数据到Elasticsearch; 数据源:txt格式文件,内容为json或json数组; Elasticsearch和Logstash版本:5.6.1; 前提环境:Elasticsearch单机或集群;Logstash客户端;实践txt文件内容:[{"name":"sixmonth","sex":"男"},{"name":"xiaoming...原创 2019-06-14 19:28:44 · 5302 阅读 · 0 评论 -
ELK生态:Logstash增量读取csv文件数据,导入到Elasticsearch
简介ELK生态之Logstash导入数据到Elasticsearch; 数据源:csv格式文件; Elasticsearch和Logstash版本:5.6.1; 前提环境:Elasticsearch单机或集群;Logstash客户端;实践csv文件内容:"sixmonth","23","男","1998/6/3 18:31:46""xiaoming","23","男","19...原创 2019-06-14 19:12:53 · 5306 阅读 · 5 评论 -
ELK生态:linux系统安装和配置logstash数据导入工具
简介上一篇博客讲到了elasticsearch搜索引擎的管理工具kibana的安装和配置,那么本篇博客将会具体介绍数据导入工具logstash的安装和配置;Logstash是一款强大的数据处理工具,它可以实现多样化的数据源数据全量或增量传输,数据标准格式处理,数据格式化输出等的功能,常用于日志处理。工作流程分为三个阶段:input数据输入阶段,可接收oracle、mysql、postg...原创 2019-06-14 15:49:47 · 664 阅读 · 0 评论 -
elasticSearch数据导入工具logstash-input-jdbc 同步原理及相关问题解读
基于logstash-input-jdbc较其他插件的稳定性、易用性、版本和ES同步更新的特点,以下研究主要针对 logstash-input-jdbc 展开。 针对logstash-input-jdbc常见的几个疑难问题,部分问题也在git和stackoverflow进行了激烈讨论,以下统一给出验证和解答。转载 2017-10-24 15:44:36 · 762 阅读 · 0 评论 -
logstash5.0版本之后导入es数据指定ik分词器详解
logstash默认采用的分词器使standard,就是把中文分成一个字一个字,这个可以在测试高亮的时候看出来,会发现每个字都被高亮了,而不是每个词语。在elasticsearch5.x之前,只要在elasticsearch中配置分词器为ik之后就可以让logstash使用ik分词器,但是5.x之后这种方式被取消了,这就显得很麻烦了。转载 2017-10-27 09:53:39 · 6401 阅读 · 0 评论 -
logstash-input-jdbc实现mysql 与elasticsearch实时同步深入详解
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。转载 2017-11-05 11:41:43 · 671 阅读 · 0 评论 -
Logstash 讲解与实战应用
原文网址:http://blog.51cto.com/tchuairen/1840596一、Logstash 介绍Logstash 是一款强大的数据处理工具,它可以实现数据传输,格式处理,格式化输出,还有强大的插件功能,常用于日志处理。官网地址:https://www.elastic.co/products/logstash工作流程L...转载 2017-12-11 16:54:55 · 1435 阅读 · 0 评论 -
Logstash吞吐量性能优化
ELK工具之logstash在导入数据的时候,如果面临的是数据量非常大的集群环境,则需要进行具体的优化配置;转载 2017-12-27 16:16:22 · 15219 阅读 · 3 评论 -
ELK系统之logstash问题:retrying failed action with response code: 429
logstash在进行单机导入数据的时候,效果一直都是不错的,但是,当使用es集群之后,多台集群服务器一起运行logstash导入程序,一开始还是没问题的,但是运行了一段时间之后,就可能会产生以下的问题:[ERROR][logstash.outputs.elasticsearch]Retrying individual actions[INFO][logstash.outputs.e原创 2017-12-28 20:29:22 · 24344 阅读 · 6 评论 -
ELK生态:Logstash通过sql导入地理坐标到ES,数据格式为字符串
简介1.ELK生态之Logstash通过sql导入地理坐标GeoPoint数据到Elasticserch;2. 数据源:mysql数据表,数据表含地理坐标——lon(经度),lat(纬度);3. Elasticsearch和Logstash版本:5.6.1;4. GeoPoint地理位置信息可以使用三种数据格式表示:(1) 以半角逗号分割的字符串形式表示——"lat,lon...原创 2019-06-18 11:10:32 · 929 阅读 · 0 评论