- 博客(4)
- 收藏
- 关注
RSS订阅原创 elasticsearch的master选举机制
ES集群构成首先，一个Elasticsearch集群(下面简称ES集群)是由许多节点(Node)构成的，Node可以有不同的类型，通过以下配置，可以产生四种不同类型的Node：conf/elasticsearch.yml: node.master: true/false node.data: true/false四种不同类型的Node是一个node.master和node.data的true/false的两两组合。当然还有其他类型的Node，比如IngestNode(用于数据..
2020-10-09 10:49:28
4585
原创 Elasticsearch 的配置文件详细说明
cluster.name: elasticsearch配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。node.name: “node1”节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。node.master: 这个属性表示节点是否具有成为主节点的资格注意：此属性的值为true，并不意味着这个节点就是主节点
2020-09-25 14:14:06
485
转载 kafka 参数详情说明
Kafka主要参数详解 一、相关参数配置############################ System ##############################唯一标识在集群中的ID，要求是正数。broker.id=0#服务端口，默认9092port=9092#监听地址，不设为所有地址host.name=debugo01处理网络请求的最大线程数num.network.threads=2处理磁盘I/O的线程数num.io.threads=8一些后台线程数backgroun
2020-09-23 14:22:58
3997
转载 kafka 消息丢失，消息重复消费的原因和排查，以及优化
数据丢失是一件非常严重的事情事，针对数据丢失的问题我们需要有明确的思路来确定问题所在，针对这段时间的总结，我个人面对kafka 数据丢失问题的解决思路如下：• 是否真正的存在数据丢失问题，比如有很多时候可能是其他同事操作了测试环境，所以首先确保数据没有第三方干扰。• 理清你的业务流程，数据流向，数据到底是在什么地方丢失的数据，在kafka 之前的环节或者kafka之后的流程丢失？比如kafka的数据是由flume提供的，也许是flume丢失了数据，kafka 自然就没有这一部分数据。• 如何发现有数据
2020-09-23 14:03:55
1170
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人