java - 中间件 Elasticserarch

1.ElasticSearch了解多少,说说你们公司es的集群架构,索引数据大小,分片有多少,以及一些调优手段?
比如:ES集群架构13个节点,索引根据通道不同共20+索引,根据日期,每日递增20+,索引:10分片,每日递增1亿+数据,每个通道每天索引大小控制150GB之内。
1.1、设计阶段调优
(1)根据业务增量需求,采取基于日期模版创建索引,通过roll over API滚动索引;
(2)使用别名进行索引管理
(3)每天凌晨定时对索引做force_merge操作,释放空间
(4)采取冷热分离机制,热数据存储到SSD,提高检索效率;冷数据定期进行shrink操作,以缩减存储
(5)采取curator进行索引的生命周期管理
(6)仅针对需要分词的字段,合理的设置分词器
(7)Mapping阶段充分结合各个字段的属性,是否需要检索、是否需要存储等
1.2、写入调优
(1)写入前副本数设置为0;
(2)写入前关闭refresh_interval设置为-1,禁用刷新机制
(3)写入过程中,采取bulk批量写入
(4)写入后恢复副本数和刷新间隔;
(5)尽量使用自动生成的id
1.3、查询调优
(1)禁用wildcard
(2)禁用批量terms(成百上千的场景)
(3)充分利用倒排索引机制,能keyword类型尽量keyword
(4)数据量大的时候,可以先基于时间敲定索引再检索
(5)设置合理的路由机制
1.4、其他调优
部署调优,业务调优等
上面的提及一部分,面试者就基本对你之前的实践或者运维经验有所评估了

2、ElasticSearch的倒排索引是什么?
传统的我们的检索是通过文章,逐个遍历找到对应关键词的位置
而倒排索引,是通过分词策略,形成了词和文章的映射关系表,这种词典+映射表即为倒排索引

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值