weixin_42414008的博客

原创 ES常用操作命令

GET _search{ "query": { "match_all": {} }}GET /_stats/fielddata?fields=*POST /_cluster/allocation/explain?prettyDELETE /event20210715POST /event20210714/_forcemerge?max_num_segments=10GET _cluster/statsGET /_cat/segments/event20210...

原创 es内存调优

原创 es堆内存排查

那么，ES的heap是如何被瓜分掉的? 说几个我知道的内存消耗大户并分别做解读:1. segment memory2. filter cache3. field data cache4. bulk queue5. indexing buffer6. state buffer7. 超大搜索聚合结果集的fetchSegment MemorySegment不是file吗？segment memory又是什么？前面提到过，一个segment是一个完备的lucene倒排索引，而倒排索引是通过词典

转载 PB级大规模Elasticsearch集群运维与调优实践

一、背景某中型互联网公司的游戏业务，使用了腾讯云的 Elasticsearch 产品，采用 ELK 架构存储业务日志。因为游戏业务本身的日志数据量非常大(写入峰值在 100w qps )，在服务客户的几个月中，我们踩了不少坑。经过数次优化与调整，最后将客户的 ES 集群调整得比较稳定，避免了在业务高峰时客户集群的读写异常，并且降低了客户的资金成本和使用成本。二、与客户的初次交锋解决方案架构师A：bellen, XX公司要上线一款新游戏，日志存储决定用 ELK 架构，他们决定在 X

原创 IP地址默认规则

原创 linux下查看swap分区被哪些进程占用

for i in `cd /proc;ls |grep "^[0-9]"|awk ' $0 >100'` ;do awk '/Swap:/{a=a+$2}END{print '"$i"',a/1024"M"}' /proc/$i/smaps ;done |sort -k2nr

转载 性能优化：一个 Flink 参数节省了 50% 的 CPU 消耗

本文属于 Flink 在生产环境的大规模 CPU 优化实战，大并发任务预计节省 30~50% 的 CPU 消耗。下文会详细分析优化相关的实现原理、问题定位以及优化过程。往往在做性能优化时就会发现：当已经定位到性能瓶颈时，很容易想到优化思路去解决或优化。但定位问题的过程其实是最难的，也就是找性能瓶颈的这个过程更具有意义。本文问题定位的过程以及用到的性能分析工具、命令可能对于广大的技术同学更有收益。0、 结论Flink 大并发任务（超过 500 并发）在使用 keyBy 或者 rebalance 的情况

原创 Hadoop开启Zstd压缩能力

HADOOP-13578(https://issues.apache.org/jira/browse/HADOOP-13578)在Hadoop3中增加了Zstd压缩本地库，需要依赖facebook的Zstd库。编译Hadoop时开启Zstd本地库编译的步骤如下：1.下载编译并安装Zstd依赖库 wgethttps://github.com/facebook/zstd/releases/download/v1.4.4/zstd-1.4.4.tar.gz tar -xzf z...

转载 ES压缩算法优化

背景Lucene 当前针对 Document Fields 数据的存储，支持两种压缩算法：LZ4 DeflateLZ4 具有更快的压缩与解压速度，而 Deflate 在压缩率上更占优势。两者在性能与压缩率上存在明显的差异，基于现有的压缩算法，用户不能很好的兼容压缩比和性能，Lucene 默认的压缩算法是 LZ4。优化方案整合业内先进的压缩算法 Zstandard（ZSTD），提升压缩率的同时，性能损耗小。Zstandard 压缩算法的优势Zstandard 压缩算法可以说兼顾了

转载 FST Off Heap 内存优化

背景ES 单节点上，倒排索引中的 FST 结构默认常驻堆内内存，占比较高，尤其是在大磁盘的冷节点上，占比可达50%+，制约了单节点管理磁盘的能力，堆内内存受限，影响节点可用性。而在冷节点上，查询请求非常少，FST 常驻内存意义不大，因此我们需要将该部分数据结构移动到堆外管理，默认不加载，需要时从磁盘加载到堆外直接使用，以降低堆内内存使用量，提升单节点磁盘管理能力。优化方案基于 WLFU 淘汰策略，实现精准控制的堆外 cache，堆内基于零拷贝、弱引用实现第二级 cache，性能和堆内访问基本持平

转载 在 Flink 算子中使用多线程如何保证不丢数据？

分析痛点笔者线上有一个 Flink 任务消费 Kafka 数据，将数据转换后，在 Flink 的 Sink 算子内部调用第三方 api 将数据上报到第三方的数据分析平台。这里使用批量同步 api，即：每 50 条数据请求一次第三方接口，可以通过批量 api 来提高请求效率。由于调用的外网接口，所以每次调用 api 比较耗时。假如批次大小为 50，且请求接口的平均响应时间为 50ms，使用同步 api，因此第一次请求响应以后才会发起第二次请求。请求示意图如下所示：平均下来，每 50 ms 向第三方

转载 Kafka 2.1.0压缩算法性能测试

Apache Kafka 2.1.0正式支持ZStandard —— ZStandard是Facebook开源的压缩算法，旨在提供超高的压缩比(compression ratio)，具体细节参见https://facebook.github.io/zstd/。本文对Kafka支持的这几种压缩算法(GZIP、Snappy、LZ4、ZStandard)做了一下基本的性能测试，希望能够以不同维度去衡量不同压缩算法在Kafka中的表现。一、环境准备本次测试使用了两台云主机，一台作为Kafka的服务器，跑br

转载 Kafka参数调优实战，看这篇文章就够了

1、背景引入：很多同学看不懂kafka参数今天给大家聊一个很有意思的话题，大家知道很多公司都会基于Kafka作为MQ来开发一些复杂的大型系统。而在使用Kafka的客户端编写代码与服务器交互的时候，是需要对客户端设置很多的参数的。所以我就见过很多年轻的同学，可能刚刚加入团队，对Kafka这个技术其实并不是很了解。此时就会导致他们看团队里的一些资深同事写的一些代码，会看不懂是怎么回事，不了解背后的含义，这里面尤其是一些Kafka参数的设置。所以这篇文章，我们还是采用老规矩

转载 ELASTICSEARCH中自定义DOC的路由(ROUTING)规则

2.1 创建一个新的index2.2 设置mappingPUT /my_index2/_mapping/student{ "_routing": { "required": true }, "properties": { "name": { "type": "keyword" }, "age": { "type": "integer" } ..

转载 Elasticsearch Index模块

. Index Setting（索引设置）每个索引都可以设置索引级别。可选值有：static ：只能在索引创建的时候，或者在一个关闭的索引上设置 dynamic：可以动态设置1.1.Static index settings（静态索引设置）index.number_of_shards ：一个索引应该有的主分片（primary shards）数。默认是5。而且，只能在索引创建的时候设置。（注意，每个索引的主分片数不能超过1024。当然，这个设置也是可以改的，通过在集群的每个节点机器上...