2018年12月_54MD

12月 11月

原创 kibana 安装

对应版本：https://www.elastic.co/support/matrix#show_compatibility下载地址_官网地址：https://www.elastic.co/cn/downloads/kibanatar –zxvf kibana-5.5.2-linux-x86_64.tar.gz编辑kibana.yml配置文件启动：nohup bin/kibana...

2018-12-21 15:38:32 157

转载 es 相关

ES平衡节点的时候不向上面分配分片，或者更进一步直接将原有分片“赶出去可以尝试使用下面的命令curl -XPUT 'localhost:9200/_cluster/settings' -d'{ "transient": { "cluster.routing.allocation.exclude._ip": "192.168.0.1,192.168.0.2" }}'...

2018-12-20 17:06:02 127

集群节点临时重启当修改配置时可能需要重启集群才生效，或者集群发生严重错误无法恢复时都可能需要重启集群一个集群节点重启前要先临时禁用自动分配，设置cluster.routing.allocation.enable为none，否则节点停止后，当前节点的分片会自动分配到其他节点上，本节点启动后需要等其他节点RECOVERING后才会RELOCATING，也就是分片在其他节点恢复后又转移回来，浪费大量...

2018-12-20 11:26:12 1509

转载 Kafka 集群调优

使用默认的Kafka参数配置你就能够从零搭建起一个Kafka集群环境用于开发及测试之用，但默认配置通常都不匹配你的生产环境，因此必须要做某种程度的调优。毕竟不同的使用场景有着不同的使用需求和性能指标。而Kafka提供的各种参数就是为了优化这些需求和指标的。Kafka提供了很多配置供用户设置以确保搭建起来的Kafka环境是能够满足需求目标的，因此详细地去调研这些参数的含义以及针对不同参数值进行测试是...

2018-12-11 15:48:10 411

翻译 kafka限制数据迁移期间的带宽使用

限制数据迁移期间的带宽使用Kafka允许您对复制流量应用限制，设置用于将副本从一台机器移动到另一台机器的带宽的上限。这在重新平衡群集，引导新代理或添加或删除代理时非常有用，因为它限制了这些数据密集型操作对用户的影响。有两个接口可用于接合油门。最简单，最安全的是在调用kafka-reassign-partitions.sh时应用节流，但kafka-configs.sh也可用于直接查看和...

2018-12-11 13:07:23 2124

翻译 kafka 自定义分区分配和迁移

自定义分区分配和迁移分区重新分配工具还可用于选择性地将分区的副本移动到特定的代理集。当以这种方式使用时，假设用户知道重新分配计划并且不需要工具生成候选重新分配，有效地跳过 - 生成步骤并直接移动到--execute步骤例如，以下示例将主题foo1的分区0移动到代理5,6，将主题foo2的分区1移动到代理2,3：第一步是在json文件中手工制作自定义重新分配计划： 1 ...

2018-12-11 12:09:56 774

翻译 kafka 添加节点或者删除节点

扩展您的群集将服务器添加到Kafka集群很简单，只需为它们分配一个唯一的代理ID并在新服务器上启动Kafka即可。但是，这些新服务器不会自动分配任何数据分区，因此除非将分区移动到它们，否则在创建新主题之前它们不会执行任何工作。因此，通常在将计算机添加到群集时，您需要将一些现有数据迁移到这些计算机。迁移数据的过程是手动启动的，但完全自动化。发生的事情是，Kafka将添加新服务器作为其正在迁移...

2018-12-11 12:08:22 9425 1