Linux 系统参数优化


修改系统所有进程可打开的文件数量

sysctl -w fs.file-max=2097152
sysctl -w fs.nr_open=2097152

> vi /etc/sysctl.conf
fs.file-max = 2097152
fs.nr_open = 2097152
设置服务最大文件句柄数

vim /etc/systemd/system.conf 
DefaultLimitNOFILE=1048576
持久化设置允许用户/进程打开文件句柄数:

ulimit -n 1048576

> vim /etc/security/limits.conf
* soft nofile 1048576
* hard nofile 1048576
可用'*'号表示修改所有用户的限制;soft或hard指定要修改软限制还是硬限制;10240则指定了想要修改的新的限制值,即最大打开文件数(请注意软限制值要小于或等于硬限制)。

TCP 协议栈网络参数

> vi /etc/sysctl.conf

### backlog - Socket 监听队列长度:
net.core.somaxconn=32768
net.ipv4.tcp_max_syn_backlog=16384
net.core.netdev_max_backlog=16384

## 可用知名端口范围:
net.ipv4.ip_local_port_range='1000 65535'

## TCP Socket 读写 Buffer 设置:
net.core.rmem_default=262144
net.core.wmem_default=262144
net.core.rmem_max=16777216
net.core.wmem_max=16777216
net.core.optmem_max=16777216

#sysctl -w net.ipv4.tcp_mem='16777216 16777216 16777216'
net.ipv4.tcp_rmem='1024 4096 16777216'
net.ipv4.tcp_wmem='1024 4096 16777216'

## TCP 连接追踪设置:
net.nf_conntrack_max=1000000
net.netfilter.nf_conntrack_max=1000000
net.netfilter.nf_conntrack_tcp_timeout_time_wait=30

## FIN-WAIT-2 Socket 超时设置:
net.ipv4.tcp_fin_timeout = 15
## TIME-WAIT Socket 最大数量、回收与重用设置:
net.ipv4.tcp_max_tw_buckets=1048576

# 注意: 不建议开启該设置,NAT模式下可能引起连接RST
# net.ipv4.tcp_tw_recycle = 1
# net.ipv4.tcp_tw_reuse = 1

转载于:https://www.cnblogs.com/xxsl/p/11003422.html

Kafka是一个高性能、分布式的消息队列系统,它在Linux系统上运行时可以通过一些参数优化来提升性能和稳定性。以下是一些常见的Kafka Linux系统参数优化建议: 1. 文件描述符限制:Kafka需要大量的文件描述符来处理网络连接和磁盘IO,建议将文件描述符限制调高。可以通过修改`/etc/security/limits.conf`文件中的`nofile`参数来增加文件描述符限制。 2. 内存限制:Kafka使用操作系统的页缓存来提高IO性能,建议将操作系统的内存限制调高。可以通过修改`/etc/sysctl.conf`文件中的`vm.max_map_count`参数来增加内存限制。 3. 磁盘调度策略:Kafka对磁盘IO要求较高,建议将磁盘调度策略设置为`noop`或者`deadline`,以减少IO延迟。可以通过修改`/sys/block/<device>/queue/scheduler`文件来设置磁盘调度策略。 4. 网络参数优化:Kafka依赖网络进行数据传输,建议对网络参数进行优化。可以通过修改`/etc/sysctl.conf`文件中的`net.core.rmem_max`、`net.core.wmem_max`、`net.ipv4.tcp_max_syn_backlog`等参数来增加网络缓冲区大小和连接队列长度。 5. 文件系统选择:Kafka对文件系统的性能要求较高,建议选择适合的文件系统。常见的选择包括ext4、XFS等。 6. 关闭透明大页:透明大页(Transparent Huge Pages)是一种内存管理技术,但在某些情况下可能会影响Kafka的性能。建议关闭透明大页,可以通过修改`/sys/kernel/mm/transparent_hugepage/enabled`文件来关闭透明大页。 7. 时钟源选择:Kafka使用时间戳来进行消息排序,建议选择稳定的时钟源。可以通过修改`/etc/default/ntp`文件来配置NTP服务。 以上是一些常见的Kafka Linux系统参数优化建议,根据实际情况和需求,您可以根据需要进行相应的调整。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值