elasticsearch
文章平均质量分 79
酱g
人望山 鱼窥荷
展开
-
elk部署详解(filebeat搭建)
Logstash+Elasticsearch+KibanaLogstash:监控,过滤,收集日志 Elasticsearch:存储日志,提供搜索功能 kibana:提供web界面,支持查询,统计,和图表展现。filebeat:轻量级的日志收集工具 很多公司都采用该架构构建分布式日志系统,包括新浪微博,freewheel ...等 效果图 Filebeat用于日志收...原创 2018-08-07 11:02:08 · 4133 阅读 · 0 评论 -
elk部署详解(logstash搭建)
Logstash是一个管理日志和事件的工具。安装部署 1:首先安装java(建议1.7) 2:下载https://download.elastic.co/logstash/logstash/logstash-2.4.0.tar.gz 3:tar -zxvf logstash-2.4.0.tar.gz 4:bin/logstash -e 'input { stdin { } } o...原创 2018-08-06 11:04:49 · 661 阅读 · 0 评论 -
elk部署详解( logstash的filter之grok)
logstash的filter之grokLogstash中的filter可以支持对数据进行解析过滤。grok:支持120多种内置的表达式,有一些简单常用的内容就可以使用内置的表达式进行解析https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns自定义的...原创 2018-08-10 11:22:06 · 5779 阅读 · 0 评论 -
elasticsearch(一)
弹性堆栈的核心Elasticsearch是一个分布式RESTful搜索和分析引擎,能够解决越来越多的用例。作为Elastic Stack的核心,它集中存储您的数据,以便您可以发现预期并发现意外情况。速度Elasticsearch很快。真的,真的很快。当您立即得到答案时,您与数据的关系会发生变化。你可以负担得起迭代并覆盖更多的基础。这么快就不容易。我们已经实现了带有限状态传...原创 2018-08-13 15:37:03 · 419 阅读 · 0 评论 -
elasticsearch(二)
处理冲突当我们使用 index API 更新文档 ,可以一次性读取原始文档,做我们的修改,然后重新索引 整个文档 。 最近的索引请求将获胜:无论最后哪一个文档被索引,都将被唯一存储在 Elasticsearch 中。如果其他人同时更改这个文档,他们的更改将丢失。很多时候这是没有问题的。也许我们的主数据存储是一个关系型数据库,我们只是将数据复制到 Elasticsearch 中并使其可被搜索...原创 2018-08-14 14:25:17 · 154 阅读 · 0 评论 -
Elasticsearch聚合分析(三)
以一个家电卖场中的手机销售数据为背景,来对各种品牌,各种颜色的手机的销量和销售额,进行各种各样角度的分析,首先建立手机销售的索引,然后添加几条销售记录 PUT /mobile{ "mappings": { "sales": { "properties": { "price": { ...原创 2018-08-20 14:38:40 · 438 阅读 · 2 评论 -
Elasticsearch SearchType详解
SearchType详解es在查询时,可以指定搜索类型为 QUERY_THEN_FETCH,QUERY_AND_FEATCH,DFS_QUERY_THEN_FEATCH和DFS_QUERY_AND_FEATCH(SACN,COUNT都已不建议使用)。那么这4种搜索类型有什么区别?elasticsearch java api中还有个default public static final Se...原创 2018-08-22 16:32:35 · 713 阅读 · 0 评论 -
Elasticsearch 高级优化
索引优化(Optimized) Es在运行一段时间后,会出现分片数增多,删除的记录未及时清理,导致占用很多的存储空间,查询性能也下降;但是在优化过程中,其他的请求会被阻止,知道优化完成;如果http请求断开,优化的请求也会继续在后台执行;$ curl -XPOST 'http://localhost:9200/twitter/_optimize'管理索引优化...原创 2018-08-27 14:50:48 · 3803 阅读 · 0 评论 -
logstash 数据采集时间差8小时问题及解决
最近采用logstash采集日志按天产生文件使用过程中发现logstash timestamp记录的时间戳为UTC时间。比我们的时区早8个小时。不能确保每天的数据在同一文件。造成发送到es里的数据每天早上8点才创建索引,发送的file的数据每天早上8点自动切割。不符合我们实际的需求。解决此问题。方法如下:方法一、加入filter字段即可解决。filter {...原创 2018-10-15 10:49:25 · 12554 阅读 · 3 评论