【es】为什么ES和Doris、Kafka等存储都需要调大系统vm.max_map_count的默认值？

最新推荐文章于 2024-08-13 12:18:03 发布
最新推荐文章于 2024-08-13 12:18:03 发布
阅读量110 收藏
点赞数
分类专栏： Linux 文章标签： elasticsearch 大数据 搜索引擎
原文链接：https://www.jianshu.com/p/249769aeefa1
版权

vm.max_map_count限制一个进程可以拥有的VMA(虚拟内存区域)的数量，而不是限制进程的可使用内存大小，默认值65535。如部署ES[3]时需要调整到262144，而部署Doris或StarRocks时需要调整到2000000。

这些存储系统使用MMAP(内存映射)，能减少用户态与内核态之间的数据拷贝，用内存读取取代I/O读取，提高文件读取效率，如读文件的简易逻辑图如下，如果vm.max_map_count值太小，容易出现内存溢出。

存储服务为什么要调整vm.max_map_count值？

https://mp.weixin.qq.com/s/yE1nuYiOpBA6LHARYk7rEg

zxfBdd
关注
专栏目录
doris be报错：sysctl -w vm.max_map_count=2000000
JustinMars的博客
05-06 232
doris be 报错
Doris 数据集成 Kafka
热门推荐
04-26 6万+
这是我们Doris 数据集成篇的第二篇，前面我们介绍过通过 Catalog进行集成的例子目前公司的很多数据服务都开始使用Doris 了，目前使用下来感觉还是很方便的，比起Hadoop 那一套少了很多运维的成本，而且整体的效率也不错，现在也要把ELK 那一套日志分析的替换掉，后面日志分析也走Doris。关于如何使用Doris做日志分析，可以参考之前的文章，不过第一步也不是日志分析，而是如何对接Kafka ，因为目前日志数据是在kafka 里的，这里我调研了一下使用Flink 和 Doris 的。
Elasticsearch启动时候出现vm.max_map_count异常的处理方法
qq_41122834的博客
12-10 3975
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] elasticsearch启动时遇到的错误 1、vim /etc/sysctl.conf (需要是root账户) 文件最后添加一行: vm.max_map_count=262144 2、sysctl -p 重启生效 ...
启动es失败，vm.max_map_count 设置太小，启动不成功
qq_15156403的博客
01-28 1912
vim /etc/sysctl.conf vm.max_map_count = 262144 sysctl -p 启动成功。
ES启动报错：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
u012609879的博客
07-20 1570
docker启动es报错
4.ES报错 max virtual memory areas vm.max_map_count [65530] is too low, increas 嘻哈的简写笔记——Elastic Search
嘻哈怪才的博客
12-01 1539
ES启动时报 max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] 内存不足的错时该怎么办？ 错误原因：Elastic Search 的内存权限太小了，至少需要262144； 解决方式： (1)永久解决：在 /etc/sysctl.conf文件最后添加一行 vm.max_map_count=262144即可永久修改； 装ES必须的步骤 (2)暂时解决：切换到root用户执行命令
linux教程：vm.max_map_count参数详解
学亮编程手记
08-30 7802
是一个与内核虚拟内存子系统相关的参数，用于控制进程可以拥有的内存映射区域的最大数量。它通常用于限制一个进程可以打开的文件数量，特别是在使用大量内存映射文件的情况下。参数的默认值通常是较小的数值，例如65530。然而，对于一些需要大量内存映射的应用程序或者特定的使用场景，可能需要增加该参数的值，以便支持更多的内存映射区域。参数的值可能会对系统的性能和资源消耗产生影响，因此在进行修改时应谨慎考虑，并根据实际需求进行调整。永久修改：如果希望永久修改参数的值，可以编辑。在Linux系统上，
insar.rar_InSAR MATLAB_MATLAB Insar_SLC_matlab Doris insar_ma
07-14
InSAR（Interferometric Synthetic Aperture Radar，干涉合成孔径雷达）是一种遥感技术，主要用于地表形变监测和地球物理研究。...无论是学术研究还是工程应用，这些资源都能为使用者提供宝贵的参考和实践机会。
apache-doris-0.12.0-incubating-src.tar.gz-hdfs_broker.zip 编译ok
12-07
- **列式存储**：Doris 使用列式存储来提高查询效率，因为列式存储对于分析型查询非常有利，它只需要扫描需要的列，减少了不必要的IO操作。 - **MPP架构**：Doris 采用大规模并行处理（MPP）架构，数据分片后在多...
大数据系列之：Doris Kafka Connector，实时消费Kafka Topic中的数据同步到Doris数据库
最新发布
zhengzaifeidelushang的博客
08-13 457
大数据系列之：Doris Kafka Connector，实时消费Kafka Topic中的数据同步到Doris数据库
安装es报错: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
weixin_46031767的博客
12-16 3106
将 vm.max_map_count 的值改为262144，重新启动即可解决问题。原因：最大虚拟内存值设置过小，无法支持ElasticSearch的运行。
ES启动异常：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
Gblfy_Blog
03-11 1万+
现象 ES启动时出现异常 bin/elasticsearch max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] 原因分析 系统虚拟内存默认最大映射数为65530，无法满足ES系统要求，需要调整为262144以上。 处理办法 设置vm.max_map_count参数 #修改文件 sudo vim /etc/sysctl.conf #添加参数 ... vm.max_ma
linux修改vm.max_map_count参数值
学亮编程手记
05-16 1093
在Linux系统中，修改参数通常是为了调整系统允许一个进程可以拥有的最大内存映射区域数量，这对于运行某些软件（如Elasticsearch在Docker容器中运行时）是非常重要的。以下是修改。
Elasticsearch【环境搭建 01】【elasticsearch-6.4.3 单机版】（含 安装包+分词插件 云盘资源）
シ風
07-31 288
一下安装过程是针对 elasticsearch-6.4.3.tar.gz 版本的，不同版本的安装配置可能存在差异。官网也有安装方法，官网安装的是 6.0.1 版本的。 1.环境 elasticsearch 的运行依赖 jdk，支持的最低版本为 Java 8。 Elasticsearch requires at least Java 8. Specifically as of this writing, it is recommended that you use the Oracle JDK versi
关于Windows 11 docker desktop 运行doris 容器时vm.max_map_count=2000000的设置问题
枪枪枪的博客
07-14 2290
需要一个简单的测试环境，于是准备用docker启动一个1fe 1be的简单玩一下。然后再重新运行be容器就可以正常启动，与FE的通信也正常。这个参数是没用的，be仍然会启动失败。如果be容器启动后再去修改。Ubuntu (默认)
Elasticsearch
Mr_Jin的博客
02-22 4288
Elasticsearch是一个分布式可扩展的实时搜索和分析引擎。 它不仅包括了全文搜索功能，还可以进行以下工作： ·分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索 ·实时分析的分布式搜索引擎 ·可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据 其主要索引为：倒排索引 倒排索引以字或词为关键字进行索引，索引中关键字所对应的记录表项记录了出现这个字或词的所有文档，一个表项就是一个字表段，它记录该文档的 ID 和字符在该文档中出...
ElasticSearch安装与基础使用
W313997791的博客
03-07 1595
elsasticsearch基础docker安装与java部分常用api
vmware 搭建ES8的常见错误
醉世老翁的博客
04-22 4576
1. max virtual memory areas vm.max_map_count [65530] is too low, increase to at least 解决方法：很明显，已经提示了内存过少，如果虚拟机是2G内存，是不够的，我关机调成了4G，还是出现这个，然后再用root用户修改/etc/sysctl.conf vm.max_map_count=655360 添加完之后 sysctl -p 立刻生效。 2. max file descriptors [4096] fo..
ElasticSearch、ClickHouse和Doris三者对比
05-20
ElasticSearch、ClickHouse和Doris是三个不同的数据存储和分析工具，它们各自有着不同的特点和优势。 ElasticSearch是一个基于Lucene搜索引擎构建的分布式搜索和分析引擎，它支持实时搜索、分析和存储大规模数据。ElasticSearch具有灵活的数据建模和查询语言，能够处理非结构化和半结构化数据，并支持全文搜索、聚合、地理空间搜索等高级搜索和分析功能。ElasticSearch适用于全文搜索和日志分析等场景，同时也可以用于数据挖掘和机器学习等领域。 ClickHouse是一个面向列的分布式数据库管理系统，它专门为处理大规模数据而设计，特别适用于OLAP场景。ClickHouse具有高效的数据压缩和查询速度，能够在秒级别内处理TB级别的数据，并支持多维分析、数据聚合和实时查询等高级功能。ClickHouse适用于海量数据存储和分析，特别是大数据分析和数据仓库等领域。 Doris是一个分布式列式存储和分析引擎，它支持实时数据写入和查询，并提供高效的数据压缩和列式存储，能够在海量数据集上进行快速的查询和分析。Doris具有灵活的数据模型和查询语言，能够处理半结构化和结构化数据，并支持多维分析、数据聚合和实时查询等高级功能。Doris适用于数据仓库和实时分析等领域。 综上所述，ElasticSearch适用于全文搜索和日志分析等场景，ClickHouse适用于海量数据存储和分析，Doris适用于数据仓库和实时分析等领域。在选择使用其中一个工具时，需要根据具体的业务需求和数据特点来进行选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值