elk
elk
꧁꫞ND꫞꧂
每一天都值得期待与认证对待
展开
-
Hive数据写入ES,处理经纬度范围查询
使用ES的初衷就是快速检索,他的默认输出数据是一万条,并不适合大数据的处理计算。要是需要导出或者将取出的数据再做二次处理的话,就需要换组件。首先需要将hive中的数据写入ES,要是涉及到经纬度,需要lat,lng的格式放到location字段里面。import org.apache.spark.rdd.RDDimport org.apache.spark.sql.{Row, Spark...原创 2019-11-12 11:35:18 · 1325 阅读 · 0 评论 -
Java代码修改ES的结果集大小
调用ElasticSearch做分页查询时报错:QueryPhaseExecutionException[Result window is too large, from + size must be less than or equal to: [10000] but was [666000]. See the scroll api for a more efficient way to ...转载 2019-09-27 18:41:06 · 1340 阅读 · 0 评论 -
ES范围查询
地理查询编辑Elasticsearch支持两种类型的地理数据:geo_point纬度/经度对字段的支持,和geo_shape领域,支持点、线、圆、多边形、多等。这组查询:geo_shape查询发现文档与几何图型相交,包含,或与指定的geo-shape不相交。geo_bounding_box查询发现文档与geo-points落入指定的矩形。geo_distance查询发...转载 2019-09-07 11:17:11 · 1806 阅读 · 0 评论 -
ElasticSearch的header安装
ElasticSearch5.6.5集群部署及调优、Head和Bigdesk插件安装sky12010人评论6099人阅读2018-08-11 01:38:48一、简介:Elasticsearch是一个基于Apache Lucene的开源搜索引擎。无论在开源还是专有领域,Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。Elasticsearch不仅...原创 2019-08-24 17:29:31 · 2833 阅读 · 0 评论 -
logstash grok中的正则
logstash中的grok中正则匹配其实当我们使用到匹配规则的时候,有时候可以适当的使用一些简单的技巧避免掉一些麻烦的正则写法,比如在json中套json数组的时候,多个中括号的匹配,就可以加个空格或者特殊字符区分,这个就可以方便的知道该匹配到哪里,eg.grok { match => { "message" => "^\[%{EXIM_DATE:datetime}\]\[%{GREEDYDATA:meth.转载 2020-11-03 14:47:34 · 503 阅读 · 0 评论 -
Flink之Watermark
Flink之Watermark在上一篇文章中我们介绍了窗口相关的内容,那么问题来了,假如我们实时处理蒸漂亮同学的行为,结果蒸漂亮恰好网络异常,本来我们窗口设置的5秒一算,而她刚才的行为恰巧属于上一个5秒窗口A计算的,但是网络异常后使得她的这次行为数据进入了到了下一个5秒B中计算。那么我们的计算是不是就存在了问题!!所以这时我们就需要去了解下咱们的Watermark了,当然为了理解的更清晰会再举例介绍!1.1 基本概念之是什么推迟窗口触发的时间,实现方式:通过当前窗口中最大的eventTime-延转载 2020-10-30 09:37:26 · 379 阅读 · 0 评论 -
filbeat+logstash配置2
启动Filebeat和Logstash先启动logstash,不然的话filebeat会找不到logstash的5044端口:修改配置文件不需要重启,可以使用bin/logstash -f config/logstash_filebeat2es.conf -r 查看解析状态是否正确bin/logstash -f config/logstash_filebeat2es.conf./filebeat -e -c filebeat_csdn.yml如果启动的时候报错显示地址被占用1.ps.原创 2020-10-29 17:36:32 · 331 阅读 · 0 评论 -
logstash的配置语法
logstash pipeline 包含两个必须的元素:input和output,和一个可选元素:filter。从input读取事件源,(经过filter解析和处理之后),从output输出到目标存储库(elasticsearch或其他)。 在生产环境使用logstash,一般使用都将配置写入文件里面,然后启动logstash。具体参照官网:https://www.elastic.co/guide/en/logstash/7.1/index.html 处理nginx日志# v...转载 2020-10-29 13:50:37 · 1743 阅读 · 0 评论 -
filebeat+logstash配置
Logstash依赖于JVM,在启动的时候大家也很容易就能发现它的启动速度很慢很慢,但logstash的好处是支持很多类型的插件,支持对数据做预处理。而filebeat很轻量,前身叫logstash-forward,是使用Golang开发的,所以不需要有java依赖,也很轻量,占用资源很小,但功能也很少,不支持对数据做预处理。因此一般都是将filebeat+logstash组合使用,在每个节点部署filbeat,然后将监控的日志推送到数据缓冲层或直接推送到logstash集群内,配合redis或kafka做转载 2020-10-29 09:27:16 · 7268 阅读 · 0 评论 -
logstash及fluentd总结
简介Logstash是一个接收,处理,转发日志的工具。支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型。怎么样听起来挺厉害的吧?在一个典型的使用场景下(ELK):用Elasticsearch作为后台数据的存储,kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色,它为数据存储,报表查询和日志解析创建了一个功能强大的管道链。Logstash提供了多种多样的 input,filters,codecs和output组件,让使用者轻松实现强大的功转载 2020-10-26 18:21:08 · 2243 阅读 · 0 评论 -
在CentOS 8上设置Kibana Elasticsearch和Fluentd
在CentOS 8上设置Kibana Elasticsearch和Fluentd首先附上命令查看当前服务器是centOS版本:rpm -q centos-release查看是否安装fluetd:rpm -qa|grep td-agentelk健康状态查看:curl http://192.168.100.154:9200/_cat/indices?vfluetd日志查看:tail -f /var/log/td-agent/td-agent.log fluetd编辑:vi /etc/td-a转载 2020-10-26 17:34:34 · 642 阅读 · 0 评论 -
Elasticsearch+Fluentd+Kibana
基于Elasticsearch+Fluentd+Kibana的日志收集分析系统搭建与应用随着互联网技术的发展,原来的单机发展到多机再到大规模集群,nginx,tomcat,openStack,docker容器等等,一个系统由大量的服务构成,其中每个应用与服务的日志分析管理也变得越来越重要。本文将介绍如何使用fd+es+ka搭建日志收集系统。关于具体介绍请参考官网:Fluentd:http://www.fluentd.org/Elasticsearch:https://www.elastic...转载 2020-10-22 17:56:34 · 930 阅读 · 0 评论 -
fluentd 安装、配置、使用介绍
fluentd 安装、配置、使用介绍March 20, 2019inefk,fluentdfluentd2是一个针对日志的收集、处理、转发系统。通过丰富的插件系统, 可以收集来自于各种系统或应用的日志,转化为用户指定的格式后,转发到用户所指定的日志存储系统之中。本文由简悦 SimpRead转码, 原文地址https://blog.laisky.com/p/fluentd/fluentd 安装、配置、使用介绍fluentd v1.0updated at 2016/1...转载 2020-10-22 10:30:50 · 4027 阅读 · 1 评论 -
ELK中不同的日志方式介绍
介绍当谈及集中日志到 Elasticsearch 时,首先想到的日志传输(log shipper)就是 Logstash。开发者听说过它,但是不太清楚它具体是干什么事情的:当深入这个话题时,我们才明白集中存储日志通常隐含着很多的事情,Logstash 也不是唯一的日志传输工具(log shipper)从数据源获取数据:文件、UNIX socket、TCP、UDP 等等 处理:添加时间戳、解析非结构化数据、根据 IP 添加地理位置信息 传输:到目标存储。比如,Elasticsearch 。由于转载 2020-10-22 09:43:56 · 986 阅读 · 0 评论