linux内核优化

1.      最大打开文件数 ulimit –a（查看）。ulimit –n number （设置）。Profile中一直生效

1、/etc/sysctl.conf，增加：fs.file-max=100000

2、修改配置文件：/etc/security/limits.conf.在这个文件最后加上：

* soft nofile 100000

* hard nofile 100000

下面图片内容作为参考，实测失败（环境ubuntu4.4.0）

1.      2.修改网络内核对TCP连接的有关限制

在Linux上编写支持高并发TCP连接的客户端通讯处理程序时，有时会发现尽管已经解除了系统对用户同时打开文件数的限制，但仍会出现并发TCP连接数增加到一定数量时，再也无法成功建立新的TCP连接的现象。出现这种现在的原因有多种。

 

   第一种原因可能是因为Linux网络内核对本地端口号范围有限制。此时，进一步分析为什么无法建立TCP连接，会发现问题出在connect()调用返回失败，查看系统错误提示消息是“Can't assign requestedaddress”。同时，如果在此时用tcpdump工具监视网络，会发现根本没有TCP连接时客户端发SYN包的网络流量。这些情况说明问题在于本地Linux系统内核中有限制。其实，问题的根本原因在于Linux内核的TCP/IP协议实现模块对系统中所有的客户端TCP连接对应的本地端口号的范围进行了限制(例如，内核限制本地端口号的范围为1024~32768之间)。当系统中某一时刻同时存在太多的TCP客户端连接时，由于每个TCP客户端连接都要占用一个唯一的本地端口号(此端口号在系统的本地端口号范围限制中)，如果现有的TCP客户端连接已将所有的本地端口号占满，则此时就无法为新的TCP客户端连接分配一个本地端口号了，因此系统会在这种情况下在connect()调用中返回失败，并将错误提示消息设为“Can't assignrequested address”。有关这些控制逻辑可以查看Linux内核源代码，以linux2.6内核为例，可以查看tcp_ipv4.c文件中如下函数：

   static int tcp_v4_hash_connect(struct sock *sk)

   请注意上述函数中对变量sysctl_local_port_range的访问控制。变量sysctl_local_port_range的初始化则是在tcp.c文件中的如下函数中设置：

   void __init tcp_init(void)

   内核编译时默认设置的本地端口号范围可能太小，因此需要修改此本地端口范围限制。

   第一步，修改/etc/sysctl.conf文件，在文件中添加如下行：

   net.ipv4.ip_local_port_range = 1024 65000

   这表明将系统对本地端口范围限制设置为1024~65000之间。请注意，本地端口范围的最小值必须大于或等于1024；而端口范围的最大值则应小于或等于65535。修改完后保存此文件。

   第二步，执行sysctl命令：

   [speng@as4 ~]$ sysctl -p

   如果系统没有错误提示，就表明新的本地端口范围设置成功。如果按上述端口范围进行设置，则理论上单独一个进程最多可以同时建立60000多个TCP客户端连接。

 

   第二种无法建立TCP连接的原因可能是因为Linux网络内核的IP_TABLE防火墙对最大跟踪的TCP连接数有限制。此时程序会表现为在 connect()调用中阻塞，如同死机，如果用tcpdump工具监视网络，也会发现根本没有TCP连接时客户端发SYN包的网络流量。由于 IP_TABLE防火墙在内核中会对每个TCP连接的状态进行跟踪，跟踪信息将会放在位于内核内存中的conntrackdatabase中，这个数据库的大小有限，当系统中存在过多的TCP连接时，数据库容量不足，IP_TABLE无法为新的TCP连接建立跟踪信息，于是表现为在connect()调用中阻塞。此时就必须修改内核对最大跟踪的TCP连接数的限制，方法同修改内核对本地端口号范围的限制是类似的：

   第一步，修改/etc/sysctl.conf文件，在文件中添加如下行：

   net.ipv4.ip_conntrack_max = 10240

   这表明将系统对最大跟踪的TCP连接数限制设置为10240。请注意，此限制值要尽量小，以节省对内核内存的占用。

   第二步，执行sysctl命令：

   [speng@as4 ~]$ sysctl -p

   如果系统没有错误提示，就表明系统对新的最大跟踪的TCP连接数限制修改成功。如果按上述参数进行设置，则理论上单独一个进程最多可以同时建立10000多个TCP客户端连接。

 

 

 

 

/etc/sysctl.conf

# 内核panic时，1秒后自动重启

kernel.panic = 1

 

# 允许更多的PIDs (减少滚动翻转问题); may break some programs 32768

kernel.pid_max = 32768

 

# 内核所允许的最大共享内存段的大小（bytes）

kernel.shmmax = 4294967296

 

# 在任何给定时刻，系统上可以使用的共享内存的总量（pages）

kernel.shmall = 1073741824

 

# 设定程序core时生成的文件名格式

kernel.core_pattern = core_%e

 

# 当发生oom时，自动转换为panic

vm.panic_on_oom = 1

 

# 表示强制Linux VM最低保留多少空闲内存（Kbytes）

vm.min_free_kbytes = 1048576

 

# 该值高于100，则将导致内核倾向于回收directory和inode cache

vm.vfs_cache_pressure = 250

 

# 表示系统进行交换行为的程度，数值（0-100）越高，越可能发生磁盘交换

vm.swappiness = 20

 

# 仅用10%做为系统cache

vm.dirty_ratio = 10

 

# 增加系统文件描述符限制 2^20-1

fs.file-max = 1048575

 

# 网络层优化

# listen()的默认参数,挂起请求的最大数量，默认128

net.core.somaxconn = 1024

 

# 增加Linux自动调整TCP缓冲区限制

net.core.wmem_default = 8388608

net.core.rmem_default = 8388608

net.core.rmem_max = 16777216

net.core.wmem_max = 16777216

 

# 进入包的最大设备队列.默认是300

net.core.netdev_max_backlog = 2000

 

# 开启SYN洪水攻击保护

net.ipv4.tcp_syncookies = 1

 

# 开启并记录欺骗，源路由和重定向包

net.ipv4.conf.all.log_martians = 1

net.ipv4.conf.default.log_martians = 1

 

# 处理无源路由的包

net.ipv4.conf.all.accept_source_route = 0

net.ipv4.conf.default.accept_source_route = 0

 

# 开启反向路径过滤

net.ipv4.conf.all.rp_filter = 1

net.ipv4.conf.default.rp_filter = 1

 

# 确保无人能修改路由表

net.ipv4.conf.all.accept_redirects = 0

net.ipv4.conf.default.accept_redirects = 0

net.ipv4.conf.all.secure_redirects = 0

net.ipv4.conf.default.secure_redirects = 0

 

# 增加系统IP端口限制

net.ipv4.ip_local_port_range = 9000 65533

 

# TTL

net.ipv4.ip_default_ttl = 64

 

# 增加TCP最大缓冲区大小

net.ipv4.tcp_rmem = 4096 87380 8388608

net.ipv4.tcp_wmem = 4096 32768 8388608

 

# Tcp自动窗口

net.ipv4.tcp_window_scaling = 1

 

# 进入SYN包的最大请求队列.默认1024

net.ipv4.tcp_max_syn_backlog = 8192

 

# 打开TIME-WAIT套接字重用功能，对于存在大量连接的Web服务器非常有效。 

net.ipv4.tcp_tw_recycle = 1 

net.ipv4.tcp_tw_reuse = 1 

 

# 表示是否启用以一种比超时重发更精确的方法（请参阅 RFC 1323）来启用对 RTT 的计算；为了实现更好的性能应该启用这个选项

net.ipv4.tcp_timestamps = 0

 

# 表示本机向外发起TCP SYN连接超时重传的次数

net.ipv4.tcp_syn_retries = 2

net.ipv4.tcp_synack_retries = 2

 

# 减少处于FIN-WAIT-2连接状态的时间，使系统可以处理更多的连接。 

net.ipv4.tcp_fin_timeout = 10  

 

# 减少TCP KeepAlive连接侦测的时间，使系统可以处理更多的连接。 

# 如果某个TCP连接在idle300秒后,内核才发起probe.如果probe 2次(每次2秒)不成功,内核才彻底放弃,认为该连接已失效.

net.ipv4.tcp_keepalive_time = 300 

net.ipv4.tcp_keepalive_probes = 2

net.ipv4.tcp_keepalive_intvl = 2

 

# 系统所能处理不属于任何进程的TCP sockets最大数量

net.ipv4.tcp_max_orphans = 262144

 

# 系统同时保持TIME_WAIT套接字的最大数量，如果超过这个数字，TIME_WAIT套接字将立刻被清除并打印警告信息。

net.ipv4.tcp_max_tw_buckets = 20000 

 

# arp_table的缓存限制优化

net.ipv4.neigh.default.gc_thresh1 = 128

net.ipv4.neigh.default.gc_thresh2 = 512

net.ipv4.neigh.default.gc_thresh3 = 4096