大叶子不小的博客

【代码】What does discovery.seed_hosts and cluster.initial_master_nodes mean in ES。

支持海量存储：单个集群存储容量可达数百 TB，线上单集群 TPS 峰值可达百万级。支持水平扩展：存储容量、读写性能都可通过增加机器的方式水平扩展。通过数据分片 (slot) 的方式，将不同的分片散落在不同的节点，保证存储容量和读写性能的可扩展。服务高可用：每个数据分片包含两副本，主备副本可在秒级内切换，保证单个数据分片的读写服务的高可用。

# 再执行的hostname的时候就不会报错了.## 设置hostname。

因此登录用户的限制，通过/etc/security/limits.conf与/etc/security/limits.d下的文件设置即可。对于systemd service的资源设置，则需修改全局配置，全局配置文件放在/etc/systemd/system.conf和/etc/systemd/user.conf，同时也会加载两个对应目录中的所有.conf文件/etc/systemd/system.conf.d/system.conf是系统实例使用的，user.conf是用户实例使用的。

于JDK 6u14版本发布，JDK 7u4版本发行时被正式推出，在JDK9时已经成了默认的垃圾回收器，算是CMS回收器的替代 方案（CMS在JDK9以后已经废弃）G1是一款分代的 (generational)，增量的 (incremental)，并行的 (parallel)，移动式（evacuating）的，软实时的垃圾回收器。其最大特点是暂停时间可配置，我们可以配置一个最大暂停时间，G1就会尽可能的在回收的同时保证程序的暂停时间在允许范围内，而且在大内存环境下表现更好。

G1收集器突出表现出来的一点是通过一个停顿预测模型根据用户配置的停顿时间来选择CSet的大小，从而达到用户期待的应用程序暂停时间。链接：https://juejin.cn/post/7007343142328352804。这一点有点类似于ParallelScavenge收集器。商业转载请联系作者获得授权，非商业转载请注明出处。提到标记就不得不提 G1 的三色标记算法了。下图中，各收集器之间的连线是嘛意思？只是收集的步骤和阶段的名字不同罢了。只是G1 的分代算法不适合新生代。巨大的,庞大的, 来自。

对路径进行编码：将路径中的特殊字符进行编码，以避免与文件系统冲突。您可以使用 URL 编码或 Base64 编码等方法来对路径进行编码和解码，确保在文件名中使用安全的字符。在代码中，您可以使用相应的编码和解码函数来处理路径。无论您选择哪种方法，都需要在代码中进行相应的更改，以确保路径的正确处理和备份文件名的生成。通过对路径进行编码和解码，可以确保在文件名中使用安全的字符，并在需要时进行恢复。使用其他字符作为替代分隔符：选择一个在路径中不常见的字符作为替代分隔符，例如。

使用etcd raft应用的架构使用etcd raft应用应当提供哪些功能供raft使用应用是如何和etcd raft交互的etcd raft涉及到的存储概念一个写请求从客户端到在节点之间达成一致，应用到状态机的过程。

之前看到一幅描述etcd raft的流程图，感觉非常直观，但和自己看源码的又有些不同，所以自己模仿着画了一下，再介绍一下。raft：raft主体功能部分Node：raft提供的接口，raft跟上层的通信接口，会运行一个run函数，持续循环处理通道上的数据raftNode：上层应用逻辑其他：Client、Network、State客户端请求发送消息给其他节点接收其他节点消息及处理应用达成一致的日志。

本文在基础上修改、标注重点。如果遇到中文别扭的地方、不懂的地方，建议配合英文原文一起阅读。Raft与PBFT、Paxos等其他一致性算法相比，确实简单不少，易于理解和实现，还有很强的可用性。Raft的3大核心是强领导者、领导者选举和成员关系变更（增加和减少Raft节点），论文就是围绕着3个核心进行介绍，以及论证安全性（正确性、一致性）和可用性。但成员关系变更的细节，依然还有一些疑问，做了一些注释在文中，需要去看源码和讨论弄清楚。

3. zrange查询的结果个数<= 查询区间长度，也就是说 ，区间多长，就查询出多少个结果出来（数据不少于区间长度，足够多的情况下），而zrangebyscore的查询结果个数视实际数据而定，也就是凡是符合区间的数据，全部查询出来.2. zrange查询的结果个数，就是索引的区间长度（如【0-7】，区间长度是8，所以查出来8个数据，当然，前提是数据不少于8个），而zrangebyscore由于是用socre来查询，因此，在准备的数据中，有多少个符合【0，7】区间的数据，就会返回多少数据。

当Controller watch的对象十分频繁的发生变更，reconcile队列中就会堆积大量的reocncile请求。和默认的单个reconcile循环相比，多个reconcile循环可以更快速的处理reconcile队列中的请求。和默认的单个reconcile循环相比，多个reconcile循环可以更快速的处理reconcile队列中的请求。这个“魔法”是由Kubernetes client-go中实现的工作队列保证的，controller runtime的reconcile队列使用的正是这个队列。

其余情况建议的方式是使用 dfs_query_then_fetch 搜索类型，这种方式将会查询所有关联分片的索引统计信息然后合并，这样评分时使用的就是全局的索引统计信息而不是某个分片的，显然这样增加了额外的成本，然而大多数情况下，这些额外成本是很低廉的，但是如果查询中包含有大量的 fields/terms 或 fuzzy 模糊查询，增加的额外成本可能并不低。如何设置备份的数量？使用场景常常是例如基于时间的索引，历史日期的数据不再改变，因此是只读的，而对于存在写入操作的索引不得进行此项操作。

每次文档包含新字段时，这些字段最终都会出现在索引的映射中。在上面我们在 mapping 中加入了 dynamic，并且设置为 strict，它表明如果现有的 mapping 里没有定义这个字段，那么就不 index 这个文档。在 dynamic 为 false 时，这个文档将被建立索引，但是新的字段将不被建立索引，mapping 将不被更新（包含新的的字段的 mapping）在通常的情况下，上面的一个命令可能会自动帮我们在 blogs 索引里增加一个新的叫做 some_new_field 的字段。

索引操作（Index，动词）是有条件的，并且只有在对文档的最后修改分配了由 if_seq_no 和 if_primary_term 参数指定的序列号和 primary term specified（翻译起来拗口，索性用英文）才执行。需要使用：if_seq_no 和 if_primary_term，它俩的用法，后文会有专门解读。但是，在999累计投票数后，碰巧小明同学和小红同学两位同时（并发）发起投票请求，这时候，如果没有版本控制，将导致最终结果不是预期的1001，而是1000。

很多时候这是没有问题的，也许我们的主数据存储是一个关系型数据库，我们只是将其复制到ElasticSearch中，使其可以被搜索，也许两个人同时更改同一个文档的几率很小，或者对于我们业务来说，偶尔丢失更改也不是很大的问题，但有时丢失了一个变更是非常严重的。应用程序接下来将决定该如何解决冲突。一个常见的设置是使用其他数据库作为主要的数据存储，使用ElasticSearch做数据检索，意味着主数据库的所有更改都要更新到ElasticSearch，如果多个进程同时更改同一数据，你可能遇到类似于之前描述的并发问题。

解决办法：git 远端代码强制覆盖本地代码。

和别名不同的是：别名关联多个索引，写入的时候需要指定 “is_write_index"，而 data stream 相对黑盒，这些细节用户无需关注。原有实现由于别名的缺陷实现不了时序数据的管理或实现起来会繁琐、麻烦，data stream 是更为纯粹的存储仅追加时序数据的方式。对于频繁更新或者删除文档的业务场景，用 data stream 不合适，而相反的，使用：模板+别名+ILM更为合适。我把 data stream 比如：存储时序数据的多个索引的抽象集合，简称为：数据流（data stream）。

Reindex可用于Elasticsearch跨集群数据迁移，并且不会复制原索引的mapping（映射）、shard（分片）、replicas（副本）等配置信息。"excludes": ["字段1","字段2"] #排除字段。"conflicts": "proceed",#有异常时，继续执行。"index": "test_index_db",#目标索引。"index": "test_index_db",#源索引。"size": 4000, #速度控制。2、在目标集群执行如下命令（kibana执行）

cat count api的方式能够快速的返回某个索引下文档的数量，需要注意的是已经删除的文档即使还没有物理删除（merge）也不会统计。我们可以来做个实验，任意删除一个文档，然后再次查询下。这是因为cat indices是直接从lucene获取的这些信息，而我们之前的文章讲过nested类型的属性其实在lucene内部是独立的文档，只不过在ES这一层隐藏了这些细节。和cat count api不同的是，cat indices命令统计的文档数量是底层所有的文档数量，如果你不太明天，我举个例子。