对docker container进行内核参数调优(tune)

原创 2015年04月06日 22:37:19

对于docker container的调优还是和普通的Linux调优有很大的区别

修改最大文件数(open files)

直接修改 container的 /etc/security/limits.conf无效
正确的做法是(以CentOS host为例)

在host上执行

sudo sh -c 'printf "\nulimit -HSn 999999\n" >> /etc/sysconfig/docker'
sudo service docker restart

这样再进入docker container, ulimit -a就可以看到更改了

[root@f258c7598394 /]# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 7810
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 999999
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 10240
cpu time               (seconds, -t) unlimited
max user processes              (-u) 7810
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

对于Ubuntu请参考此文

修改tcp/ip变量(sysctl)

  • 如果docker container是以 –net=”host” 方式启动的,那么container和host共用同一个网络堆栈,只需要修改host的配置
sudo sh -c 'printf "\nnet.ipv4.ip_local_port_range = 1024 65535\n" >> /etc/sysctl.conf';
sudo sh -c 'printf "net.ipv4.tcp_tw_recycle = 1\n" >> /etc/sysctl.conf';
sudo sh -c 'printf "net.ipv4.tcp_tw_reuse = 1\n" >> /etc/sysctl.conf';
sudo sh -c 'printf "net.core.rmem_max = 16777216\n" >> /etc/sysctl.conf';
sudo sh -c 'printf "net.core.wmem_max = 16777216\n" >> /etc/sysctl.conf';
sudo sh -c 'printf "net.ipv4.tcp_max_syn_backlog = 4096\n" >> /etc/sysctl.conf';
sudo sh -c 'printf "net.ipv4.tcp_syncookies = 1\n" >> /etc/sysctl.conf';
sudo sh -c 'printf "net.core.somaxconn = 1024\n" >> /etc/sysctl.conf';
sudo sh -c 'printf "net.ipv4.tcp_window_scaling = 1\n" >> /etc/sysctl.conf';
sudo sh -c 'printf "net.ipv4.tcp_rmem = 4096 87380 16777216\n" >> /etc/sysctl.conf';
sudo sh -c 'printf "net.ipv4.tcp_wmem = 4096 16384 16777216\n" >> /etc/sysctl.conf';
sudo sysctl -p;

然后重启docker container生效。

  • 如果docker container不是以 –net=”host” 方式启动的,那么它将有自己独立的网络堆栈。修改host的配置将会无效。在container中又无法直接修改/proc,因为docker会以只读的方式重新挂载/proc/sys。 对于这个问题,可以在container启动的时候将/proc挂载到另一可读写位置,譬如
docker run -ti -v /proc:/writable-proc ubuntu:14.04 /bin/bash

然后就可以在container内部进行修改了

echo 1024 65535 > /writable-proc/sys/net/ipv4/ip_local_port_range
echo 1 > /writable-proc/sys/net/ipv4/tcp_tw_recycle
echo 1 > /writable-proc/sys/net/ipv4/tcp_tw_reuse
echo 4096 > /writable-proc/sys/net/ipv4/tcp_max_syn_backlog
echo 1 > /writable-proc/sys/net/ipv4/tcp_syncookies
echo 1 > /writable-proc/sys/net/ipv4/tcp_window_scaling
echo 4096 16384 16777216 > /writable-proc/sys/net/ipv4/tcp_wmem
echo 4096 87380 16777216 > /writable-proc/sys/net/ipv4/tcp_rmem
echo 16777216 > /writable-proc/sys/net/core/rmem_max
echo 16777216 > /writable-proc/sys/net/core/wmem_max
echo 1024 > /writable-proc/sys/net/core/somaxconn
echo 999999 > /writable-proc/sys/fs/file-max

然后在container中可以查看到修改生效

cat /proc/sys/net/ipv4/ip_local_port_range
cat /proc/sys/net/ipv4/tcp_tw_recycle
cat /proc/sys/net/ipv4/tcp_tw_reuse
cat /proc/sys/net/ipv4/tcp_max_syn_backlog
cat /proc/sys/net/ipv4/tcp_syncookies
cat /proc/sys/net/ipv4/tcp_window_scaling
cat /proc/sys/net/ipv4/tcp_wmem
cat /proc/sys/net/ipv4/tcp_rmem
cat /proc/sys/net/core/rmem_max
cat /proc/sys/net/core/wmem_max
cat /proc/sys/net/core/somaxconn
cat /proc/sys/fs/file-max

需要注意的是,如果内核版本过低(<3.12), 有些参数是无法修改的

上面提到的Linux内核各调优参数可以参考此文

docker - 资源限制

rhel7 下运行 docker 时 limits 限制方法
  • signmem
  • signmem
  • 2016-05-10 17:27:53
  • 4229

Docker容器网络包丢失之NAT

Docker容器网络问题说明 docker容器需要连接外网及外网需要访问容器内数据,有奇怪的问题就是容器启动的时候内外网的访问正常,过一段时间时数据包就会丢失,查半天问题查出是因为sysctl.c...
  • hyneria_hope
  • hyneria_hope
  • 2017-04-01 11:50:59
  • 176

linux下修改内核参数进行Tcp性能调优 -- 高并发

前言: Tcp/ip协议对网络编程的重要性,进行过网络开发的人员都知道,我们所编写的网络程序除了硬件,结构等限制,通过修改Tcp/ip内核参数也能得到很大的性能提升, 下面就列举一些Tcp...
  • wwh578867817
  • wwh578867817
  • 2015-07-01 10:30:03
  • 9975

Docker网络优化方案,你认为哪种将引爆未来?

上一篇文章Docker原生网络和实现原理中,我们讨论了Docker原生网络实现原理,在Docker原生网络模型在保证端口映射、链接正确的情况下,可实现同一宿主机上容器间的通信和宿主机之间的通信。也在前...
  • swingwang
  • swingwang
  • 2016-08-28 17:46:13
  • 1732

获取docker连接数的方法,或查看docker的连接

由于使用DOCKER的时候,ESTABLISHED连接不会出现在netstat中:在运行中的docker容器中列出打开的套接字的方法方法:1. 查找docker的进程号 :docker inspect...
  • kozazyh
  • kozazyh
  • 2018-03-10 20:13:01
  • 165

从 深入理解docker ulimit 理解 systemd

 深入理解docker ulimit 2015年7月23日 10:00 阅读 12778 【编者的话】Docker大规模应用后,如果你没踩过坑,说出去肯定没人信。昨天就遇到一个ulimi...
  • zhangrui_fslib_org
  • zhangrui_fslib_org
  • 2015-11-23 15:42:14
  • 936

docker依赖的linux内核特性

docker依赖的内核特性 docker依赖于Linux的两个内核特性: Namespaces:命名空间 Control groups(cgroups):控制组 Namespaces ...
  • sinat_35930259
  • sinat_35930259
  • 2018-03-21 20:49:06
  • 69

docker安装升级linux内核(2.6.32->3.10.81),安装成功!

升级linux内核(2.6.32->3.10.81),安装docker1.内核升级环境准备 #查看已经安装的和未安装的软件包组,来判断我们是否安装了相应的开发环境和开发库; yum group...
  • samxx8
  • samxx8
  • 2015-07-02 15:33:31
  • 15555

docker容器资源配额控制

docker通过cgroup来控制容器使用的资源配额,包括CPU、内存、磁盘三大方面,基本覆盖了常见的资源配额和使用量控制。...
  • horsefoot
  • horsefoot
  • 2016-06-22 07:48:10
  • 31517
收藏助手
不良信息举报
您举报文章:对docker container进行内核参数调优(tune)
举报原因:
原因补充:

(最多只允许输入30个字)