通用且成本高的方案 - hot warm架构
在资源充足的情况下,使用高性能服务器(CPU充足和SSD磁盘)作为hot节点,数据首先写入hot节点,将基本不再有写入和读取的索引放在warm节点(CPU和磁盘性能较低)
节点角色独立
拆分专属角色
- master 仅作为matser节点,管理集群元数据,不负责请求转发和数据存储
- client 仅负责接受客户端请求,并分发至数据节点并汇总数据
- data 仅作为数据存储节点,不直接接受客户端请求
合理设置索引分片
- 将索引的分片在集群各个数据节点分布均衡
- 合理设置分片数,按照但分片10G的大小分布,不建议单分片超过50G
系统参数
- 禁用swap
- 句柄数
其他解决方案:
数据写入
1.合理定义mapping
根据需求,进行数据写入时,减少磁盘写入数据,比如
PUT test1
{
"mappings": {