ElasticSearch
ElasticSearch 工作笔记
小僵尸打字员
以解决问题为驱动力
展开
-
日志收集分析利器-ELK加FileBeat
安装docker-composepip install --upgrade pippip install -i https://pypi.tuna.tsinghua.edu.cn/simple -U docker-compose编写配置文件别忘了把127.0.0.1 替换成自己的ip地址创建挂载目录mkdir -p /data/elk/es /data/elk/filebeatcd /data/elk小技巧linux vim下粘贴文件可能会存在格式文件, 在粘贴前进入paste模式:原创 2020-06-30 22:44:24 · 366 阅读 · 0 评论 -
ElasticSearch update
官网文档地址1 - 单个更新指定字段update table set first_time = 1 where id=1POST test/doc/1/_update{ "doc": { "first_time": 1 }}2 - 批量更新字段update table set first_time = last_time where first_time=0 an...原创 2020-01-13 11:52:49 · 2336 阅读 · 0 评论 -
ElasticSearch中"distinct","count"和"group by"的实现
原文地址https://www.jianshu.com/p/62bed9cc8349最近在业务中需要使用ES来进行数据查询,在某些场景下需要对数据进行去重,以及去重后的统计。为了方便大家理解,特意从SQL角度,方便大家能够理解ES查询语句。1 - distinctSELECT DISTINCT(user_id) FROM table WHERE user_id_type = 3;...转载 2020-01-13 11:31:48 · 2175 阅读 · 1 评论 -
es keyword和text的区别以及联想词实现方案
keyword和text的区别相同支持模糊查询和精确查询不同分词keyword 不分词text 分词聚合查询keyword 支持text 不支持联想词实现方案内容基于es的keyword和text来实现keyword 类型存储多个相关关键字, 使用间隔符分开, 查询时使用正则查询(wildcard)text 类型存储需要分词的关键字, 比如中间可能会带符...原创 2019-12-21 17:16:28 · 2390 阅读 · 0 评论 -
es 平行多次聚合查询
需求比如说我有 city, source, company, user等字段, 然后需要根据 user 字段来查出 各城市对应的 source, company字段, 即同样条件不同字段聚合, 如下user city company user city source需要同时返回这两种聚合结果, 要怎么实现呢实现{ "aggs": { "city": { # 第一...原创 2019-08-13 14:34:49 · 3095 阅读 · 0 评论 -
es聚合查询并且返回对应组的数据
es 聚合查询并返回每个组的数据需求我现在是有一个这样的需求, 我需要在es里面按照 cityarea 进行分组(group by), 并且每个 cityarea的组 需要展示 按照时间排序的前10条, 状态全部为1的数据实现 { "query": { "bool": { "must": [ { "term"...原创 2018-12-07 16:48:49 · 14407 阅读 · 0 评论 -
kibana日志成图
前言既然已经搭了es和kibana, 那肯定要做一下kibana的图表, 看日志超级方便的, 首先写个脚本生成一点测试数据生成测试数据"""@author xiaofei@date 2019-05-20@desc 百度云es添加数据"""from elasticsearch import Elasticsearchfrom elasticsearch import he...原创 2019-05-20 16:25:13 · 684 阅读 · 0 评论 -
python 操作ES
python 操作es 的基操配置部分 """ @author xiaofei @email @auth @desc """ import pymongo, json from elasticsearch import Elasticsearch from elasticsearch import helpers ...原创 2018-12-15 11:18:51 · 4199 阅读 · 0 评论 -
ES查询学习(随时更新)
ES查询学习常用查询match_all 查询所有match 分词匹配查询, 模糊查询term 精确查找, 单个字段等值匹配terms 多个字段等值匹配基础查询{ "query": {"match&am原创 2018-11-19 18:42:18 · 688 阅读 · 0 评论