ElasticSearch
文章平均质量分 93
Men-DD
这个作者很懒,什么都没留下…
展开
-
ElasticSearch(九):ELK 架构
ELK架构LogstashLogstash数据传输原理Logstash配置文件结构Logstash导入数据到ES同步数据库数据到ElasticsearchFileBeat的工作原理Filebeat安装ELK整合实战采集nginx服务器日志使用FileBeats将日志发送到Logstash配置Logstash接收FileBeat收集的数据Logstash输出数据到Elasticsearch利用Logstash过滤器解析日志输出到Elasticsearch指定索引......原创 2022-07-28 19:41:44 · 5081 阅读 · 0 评论 -
ElasticSearch(八):关联关系、Pipeline、数据建模
Elasticsearch中如何处理关联关系对象类型嵌套对象(Nested Object)父子关联关系(Parent / Child)嵌套文档 VS 父子文档Ingest Pipeline & Painless ScriptPipeline & ProcessorElasticSearch数据建模最佳实践建模建议1:如何处理关联关系建模建议2: 避免过多字段建模建议3︰避免正则,通配符,前缀查询建模建议4︰避免空值引起的聚合不准建模建议5: 为索引的Mapping加入Meta信息..原创 2022-07-28 19:34:37 · 687 阅读 · 0 评论 -
ElasticSearch(七):集群架构
搭建三节点ES集群;安装Cerebro客户端;安装kibanaES安全认证;集群内部安全通信;开启并配置X-Pack的认证生产环境常见集群部署方式;增加节点水平扩展场景;读写分离架构;异地多活架构;Hot & Warm 架构ES跨集群搜索分片的设计和管理;如何设计分片数;如何确定主分片数;如何确定副本分片数ES底层读写工作原理;ES写入数据的过程;ES读取数据的过程;写数据底层原理如何提升集群的读写性能;提升集群读取性能的方法;提升写入性能的方法......原创 2022-07-27 18:38:11 · 3488 阅读 · 0 评论 -
ElasticSearch(六):聚合索引
- ElasticSearch聚合操作 * 聚合的分类 * Metric Aggregation * Bucket Aggregation * Pipeline Aggregation * 聚合的作用范围 * 排序- Elasticsearch 聚合性能优化 * ES聚合分析不精准原因分析 * 启用 eager global ordinals 提升高基数聚合性能 * 插入数据时对索引进行预排序 * 使用节点查询缓存 * 使用分片请求缓存.原创 2022-07-25 19:30:07 · 2086 阅读 · 0 评论 -
ElasticSearch(五):相关性和相关性算分、布尔查询、Boosting查询、单多字段查询
- 相关性和相关性算分 * 相关性(Relevance) * 什么是TF-IDF * BM25 * 通过Explain API查看TF-IDF * Boosting- 布尔查询bool Query * 如何解决结构化查询“包含而不是相等”的问题 * 利用bool嵌套实现should not逻辑- Boosting Query * 控制字段的Boosting- 单字符串多字段查询 * 三种场景 * 最佳字段查询Dis Max Query .原创 2022-07-25 12:41:20 · 873 阅读 · 0 评论 -
ElasticSearch(四):DSL Query
查询所有match_all;返回指定条数size;分页查询form;深分页查询Scroll;指定字段排序sort;返回指定字段_source;默认OR匹配所有match;短语查询match_phrase — slop;多字段查询multi_match;query_string;simple_query_string;关键词查询Term;前缀查询prefix;通配符查询wildcard;范围查询range;日期range;多id查询ids;模糊查询fuzzy;高亮highlight;自定义高亮html标签;多原创 2022-07-22 16:51:49 · 1397 阅读 · 0 评论 -
ElasticSearch(三):文档映射Mapping
IndexTemplates可以帮助你设定Mappings和Settings,并按照一定的规则,自动匹配到新创建的索引之上。dynamic设为false,Mapping不会被更新,新增字段的数据无法被索引,但是信息会出现在_source中。dynamic设为true时,一旦有新增字段的文档写入,Mapping也同时被更新。如果修改了字段的数据类型,会导致已被索引的数据无法被搜索。对已有字段,一旦已经有数据写入,就不再支持修改字段定义。Lucene实现的倒排索引,一旦生成后,就不允许修改。...原创 2022-07-21 22:50:10 · 1573 阅读 · 0 评论 -
ElasticSearch(二):索引、文档增删改查、批量操作
注意POST和PUT都能起到创建/更新的作用,PUT需要对一个具体的资源进行操作也就是要确定id才能进行更新/创建,而POST是可以针对整个资源集合进行操作的,如果不写id就由ES生成一个唯一id进行创建新文档,如果填了id那就针对这个id的文档进行创建/更新。mget是需要我们知道它的id,可以指定不同的index,也可以指定返回值source。update不会删除原来的文档,而是实现真正的数据更新。批量对文档进行写操作是通过_bulk的API来实现的。条件查询,如要查询age等于28岁的。.......原创 2022-07-21 22:48:32 · 2757 阅读 · 0 评论 -
ElasticSearch(一):介绍、安装、文档分词
全文检索是指通过一个程序扫描文本中的每一个单词,针对单词建立索引,并保存该单词在文本中的位置、以及出现的次数用户查询时,通过之前建立好的索引来查询,将索引中单词对应的文本位置、出现的次数返回给用户,因为有了具体文本的位置,所以就可以将具体内容读取出来了内容爬取,停顿词过滤比如一些无用的像"的",“了”之类的语气词/连接词内容分词,提取关键词根据关键词建立倒排索引用户输入关键词进行搜索。......原创 2022-07-21 14:03:46 · 363 阅读 · 0 评论