ES(Elasticsearch) 存储限流修改

在Elasticsearch的早期版本中,**过度的合并将会拖慢集群,以至于索引和搜索请求慢得无法接收,或者是所有得节点都无法响应,这都是因为合并时对I/O产生了压力,导致新分段得写入很缓慢。**此外,由于I/O得等待,CPU得负载也会很高。

因此,Elasticsearch使用了存储限流,来限制合并可以使用得I/O吞吐量。默认情况下有一个节点层级得设置,称为:indices.store.throttle.max_bytes_per_sec。

这个限制在很多应用中对于稳定性很好,如果你有高速得机器和许多所有,即使有足够得CPU和I/O来执行合并,但是由于限流得原因合并还是无法跟上节奏。此时,Elasticsearch只使用单个线程来进行内部索引,将其速度放缓,使得合并可以跟得上。

如果你的机器使用SSD硬盘得节点,通常可以将这个限流增大到100~200MB。

如何修改:

当然也可以将indices.store.throttle.type设置为none,完全取消

Kubernetes(k8s)是一个流行的容器编排平台,可以用于部署Elasticsearch集群。以下是部署Elasticsearch集群的一些步骤: 1. 创建Kubernetes集群:您需要先创建一个Kubernetes集群,可以使用公共云提供商(如AWS、GCP、Azure)或私有云(如OpenStack)。 2. 安装Elasticsearch:您可以使用Helm chart或自定义YAML文件来安装Elasticsearch。在安装过程中,您需要指定Elasticsearch节点的数量、资源限制和其他配置。 3. 配置Elasticsearch:您需要配置Elasticsearch集群的网络、存储和安全设置。您可以使用Kubernetes的网络插件(如Calico、Flannel)来配置网络,使用Kubernetes存储卷(如PersistentVolumeClaim)来配置存储,使用Kubernetes的Secret对象来配置安全设置。 4. 部署Kibana:如果您想使用Kibana来可视化Elasticsearch数据,您可以使用Helm chart或自定义YAML文件来部署Kibana。在部署过程中,您需要指定Kibana的资源限制和其他配置。 5. 配置Kibana:您需要配置Kibana的网络、存储和安全设置。您可以使用Kubernetes的网络插件(如Calico、Flannel)来配置网络,使用Kubernetes存储卷(如PersistentVolumeClaim)来配置存储,使用Kubernetes的Secret对象来配置安全设置。 6. 部署Logstash:如果您想使用Logstash来收集和处理日志数据,您可以使用Helm chart或自定义YAML文件来部署Logstash。在部署过程中,您需要指定Logstash的资源限制和其他配置。 7. 配置Logstash:您需要配置Logstash的网络、存储和安全设置。您可以使用Kubernetes的网络插件(如Calico、Flannel)来配置网络,使用Kubernetes存储卷(如PersistentVolumeClaim)来配置存储,使用Kubernetes的Secret对象来配置安全设置。 8. 测试集群:您可以使用curl或其他工具来测试Elasticsearch集群、Kibana和Logstash的功能和性能。 以上是部署Elasticsearch集群的一些步骤,具体实现可能因环境和需求而异。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值