![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
elasticsearch
小卒曹阿瞒
这个作者很懒,什么都没留下…
展开
-
elasticsearch做为日志中心的配置及优化
Hot-warm-cold architecture with Elasticsearchhttps://ptran32.github.io/2020-08-08-hot-warm-cold-elasticsearch/Implementing Hot-Warm-Cold in Elasticsearch with Index Lifecycle Management | Elastic Bloghttps://www.elastic.co/blog/implementing-hot-warm-co原创 2021-11-10 01:30:40 · 1192 阅读 · 0 评论 -
索引Index管理
Shrink APISplit API一个时间序列索引的实际场景Rollover API时间序列的索引索引生命周期Elasticsearch CuratorIndex Lifecycle ManagementILM Policy图形界面...原创 2021-08-01 16:29:41 · 102 阅读 · 0 评论 -
Merge优化
Merge优化shard Request CacheFielddata Cache缓存失效管理内存的重要性诊断一些常见的内存问题Circuit Breaker集群生命周期管理部署的建议使用要遵循一定的规范对重要数据备份运维移动分片从集群中移除一个节点控制Allocation和RecoverySynced Flush...原创 2021-08-01 14:59:45 · 134 阅读 · 0 评论 -
优化读写性能
写优化方法服务器端优化写入性能的一些手段优化写入性能关闭无关的功能针对性能的取舍数据写入的过程Refresh IntervalTranslog分片设定Bulk 线程池和队列大小一个索引设定的例子读优化数据建模聚合文档消耗内存优化分片...原创 2021-08-01 12:47:36 · 118 阅读 · 0 评论 -
分片设计及管理
单个分片2个分片如何设计分片数案例分片过多的副作用如何确定住分片数如何确定副本分片数调整分片总数设定,避免分配不均衡容量规划评估业务的性能需求常见用例硬件配置部署方式案例1:固定大小的数据集拆分索引案例2:基于时间序列的数据创建基于时间序列的索引写入时间序列的数据,基于Date Math的方式基于Index Alias集群扩容...原创 2021-08-01 12:21:38 · 185 阅读 · 0 评论 -
集群部署介绍
节点类型节点参数配置单一职责的节点好处Dedicate Coordinating Only Node (client Node)Dedicate Master Node基本部署水平扩展读写分离在集群中部署Kibana异地多活的部署日志类应用的部署架构什么是Hot & Warm ArchitectureHot NodesWarm Nodes配置步骤标记节...原创 2021-08-01 11:18:26 · 1343 阅读 · 0 评论 -
es 安全方面
信息泄漏原因分析数据安全性的基本需求一些免费的方案身份认证RBAC-用户鉴权创建内置的用户和角色使用API创建开启并配置X-Pack的认证和鉴权集群内安全通信为什么要加密通讯为节点创建证书配置节点间通信集群与外部安全通信为什么需要https配置es for https配置kibana访问https es配置https访问kibana...原创 2021-08-01 10:59:09 · 347 阅读 · 0 评论 -
数据建模最佳实践
如何处理关联关系避免过多字段Dynamic VS Strict解决方案:Nested Object & Key Value通过Nested对象保存Keyvalue的不足避免正则查询解决方案:将字符串转换为对象避免空值引起的聚合分析导致的误差为索引的Mapping加入Meta信息...原创 2021-08-01 10:38:47 · 93 阅读 · 0 评论 -
ReIndex
使用场景案例1:为索引增加子字段案例2:更改已有字段类型的Mappings 创建新的索引, 然后_reindexReindex API2个注意点OP type跨集群的Reindex查看Task API字段类型:Text vs keyword一个数据建模的shili优化需求变更mapping字段的相关设置一些相关的API...原创 2021-08-01 10:27:41 · 149 阅读 · 0 评论 -
Nested,父子文档
案例1:博客信息案例2:包含对象数据的文档为什么会搜到不需要的结果?Nested Data Type嵌套查询Parent/Child父子关系设置mapping索引父文档索引子文档嵌套对象VS父子文档...原创 2021-07-31 23:57:58 · 132 阅读 · 0 评论 -
处理并发读写操作
并发控制的必要性es采用的是乐观并发控制es的乐观并发控制原创 2021-07-31 23:02:51 · 81 阅读 · 0 评论 -
分片及其生命周期
分片的内部原理倒排索引不可变性Lucene IndexRefreshTransaction LogFlushMerge原创 2021-07-31 22:12:46 · 54 阅读 · 0 评论 -
文档分布式存储
文档存储在分片上文档到分片的路由算法更新一个文档的流程删除一个文档原创 2021-07-31 19:40:34 · 87 阅读 · 0 评论 -
分片与集群的故障转移
Primary Shard - 提示系统存储容量Replica Shard - 提高数据可用性分片数的设定单节点集群 因为副本分片要和朱分片分配到不同的节点上,才能高可用增加一个数据节点再增加一个数据节点故障转移集群健康状态...原创 2021-07-31 19:25:04 · 91 阅读 · 0 评论 -
集群分布式模型
分布式特性节点 Coordinating NodeData NodeMaster NodeMaster Eligible Nodes & 选主流程集群状态选主过程脑裂问题如何避免脑裂问题配置节点类型...原创 2021-07-31 18:22:01 · 134 阅读 · 0 评论 -
配置跨集群搜索
水平扩展的痛点跨集群搜索 —— cross cluster search配置及查询演示设置写入数据查询原创 2021-07-31 18:04:12 · 68 阅读 · 0 评论 -
自动补全与上下文提示
建索引写入数据去查询什么是context suggester实现context suggester演示加数据查询精准度和召回率原创 2021-07-31 17:53:33 · 127 阅读 · 0 评论 -
使用monstache同步mongodb数据到elasticsearch
背景elasticsearch常用来全文本搜索,而mongodb不太适合做这种文本搜索,因此需要做数据冗余,将需要搜索的数据同步到elasticsearch中。最直接想到的方法就是代码里双写,写到mongodb成功后,再写入到elasticsearch中,但是这样会带来一些问题,写入的地方可能很多,需要在很多地方都插入写入es的代码,这就导致代码复杂,还会导致数据不一致的问题,如果某些地方漏掉的话。如果我们有一个工具能监听到mongodb的改变,并且近实时的同步到es中,这样就很方便,省事。原创 2020-11-11 12:08:39 · 1574 阅读 · 0 评论 -
elasticsearch7 基于词项和基于全文的搜索
基于Term的查询复合查询-Constant Score转为Filter基于全文的查询原创 2020-09-26 22:46:48 · 197 阅读 · 0 评论 -
elasticsearch7 聚合分析
什么是聚合聚合的分类Bucket & MetricBucketMetricbucket的一个例子加入Metrics嵌套续。。。。。。原创 2020-09-26 22:16:18 · 343 阅读 · 0 评论 -
elasticsearch7 Template
什么是Index Template1.template_default每个索引被创建都会按照如下设置, 主和副本集分片数都是12.template_test匹配test* 的索引 会按照如下设置,主分片数是1,副分片数是2同时启用图中的mappingsIndex template的工作方式Dynimic Template...原创 2020-09-26 21:48:36 · 1387 阅读 · 0 评论 -
elasticsearch7 mapping
什么是mapping什么是Dynamic Mapping类型的自动识别能否更改Mapping的字段类型控制Dynamic Mapping总结:1.当dynamic设置成true,新增的字段(不在mapping)会被自动索引,也能被搜素到2.当dynamic设置成 false,新增的字段,不会被索引,但是可以写进去,source里可以看到。3.当dynamic设置成strict时,新增的字段,该条数据写入直接报错,无法写入自定义Mapping.原创 2020-09-26 21:39:45 · 493 阅读 · 0 评论 -
elasticsearch7.x-Mapping
什么是Mapping字段的数据类型什么是Dynamic Mapping类型的自动识别能否更改Mapping的字段类型控制Dynamic Mapping显示Mapping设置与参数介绍null_value1.需要对Null值实现搜索2.只有keyword类型支持设定Null_Valuecopy_to 设置...原创 2020-09-13 20:40:00 · 504 阅读 · 0 评论 -
elasticsearch7.x——search API
Search APIURL查询Request Body搜索Response搜索的相关性Relevance衡量相关性Precision & RecallURI-Search 详解通过URI query 实现搜索Query String Syntax(1)1.指定字段查询查询出title都包含2012的文档2.泛查询3.指定字段查询,和1差不多4.PhraseQuery 要求这2个词同时都出现原创 2020-09-13 17:55:45 · 1073 阅读 · 0 评论 -
elasticsearch概念,分词器介绍
es与关系型数据库之间的一些概念类比集群,节点Master-eligible nodes 和Master NodeData Node & Coordinating Node其它的节点类型配置节点类型分片分片的设定查看集群的健康状态文档create 一个文档GETIndex文档Update文档Bulk API批量读取-mget批量查询常见错误...原创 2020-09-13 15:44:58 · 681 阅读 · 0 评论