Linux性能优化
一、 Linux系统优化-调大TCP最大连接数
linux
作为服务器,当socket
运行高并发TCP
程序时,通常会出现连接建立到一定个数后不能再建立连接的情况生产环境下,多次测试,发现每次连接建立到1000左右时,再也不能建立tcp
连接,为什么呢?这是因为在Linux
平台上,无论编写客户端程序还是服务端程序,在进行高并发TCP
连接处理时,最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统为每个TCP
连接都要创建一个socket
句柄,每个socket
句柄同时也是一个文件句柄)。为了调大TCP
最大连接数,必须修改用户进程可打开文件数限制。
1)查看系统允许当前用户进程打开的文件数限制
ulimit -n
这表示当前用户的每个进程最多允许同时打开1024个文件,默认也是1024
2)修改/etc/security/limits.conf
文件,在文件最后
添加如下内容:
修改
vim /etc/security/limits.conf
添加
root soft nofile 65535
root hard nofile 65535
* soft nofile 65535
* hard nofile 65535
注1:
第1个参数指定修改root
用户的打开文件数限制,可用’*'号表示修改所有用户的限制;
第2个参数soft
或hard
指定要修改软限制还是硬限制;
第3个参数65535则指定了想要修改的新的限制值,即最大打开文件数(请注意软限制值要小于 或等于硬限制) nofile
有上限,不是无穷大,nofile
65535即上限为65535
再次查看一下可以发现件数限制已变为:65535
注2:
有的Linux操作系统,如(Ubuntu)不允许配置 * ,ubuntu的root
用户必须写出来,其它用户可用*
代替
1.1)查看Linux系统级的最大打开文件数限制,使用如下命令
#数字每台服务器有可能不一样,是Linux系统在启动时根据系统硬件资源状计算
cat /proc/sys/fs/file-max
我cpu给了1核,内存给了1g,所以我的不是很高,95288
注:这表明这台Linux系统最多允许同时打开(即包含所有用户打开文件数总和)95288个文件,是Linux系统级硬限制,所有用户级的打开文件数限制都不应超过这个数值。通常这个系统级硬限制是Linux系统在启动时根据系统硬件资源状况计算出来的最佳的最大同时打开文件数限制,如果没有特殊需要,不应该修改此限制,除非想为用户级打开文件数限制设置超过此限制的值
此节内容可参考资料Linux 内核优化,这里不涉及
二、 Linux系统优化-TCP/IP内核参数优化
1)第一步,修改/etc/sysctl.conf
文件,在文件最后添加如下行:
net.core.rmem_default = 256960
net.core.rmem_max = 513920
net.core.wmem_default = 256960
net.core.wmem_max = 513920
net.core.netdev_max_backlog = 65535
net.core.somaxconn = 65535
net.core.optmem_max = 81920
net.ipv4.tcp_mem = 131072 262144 524288
net.ipv4.tcp_rmem = 8760 256960 4088000
net.ipv4.tcp_wmem = 8760 256960 4088000
net.ipv4.tcp_keepalive_time = 1200
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_sack = 1
net.ipv4.tcp_fack = 1
net.ipv4.tcp_timestamps = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 15
net.ipv4.ip_local_port_range = 1024 65535
net.ipv4.tcp_max_syn_backlog = 20000
2)第二步,执行sysctl命令,让改动配置生效
sysctl -p
如果系统没有错误提示,就表明对TCP/IP内核参数修改成功
Tomcat优化
1)设置Tomcat开机自启
cd /usr/lib/systemd/system
把准备好的tomcat.service
复制进来,并修改tomcat路径
资料在下方的百度云链接有
Tomcat,JDK路径请改成你们自己的
Tomcat,JDK路径请改成你们自己的
Tomcat,JDK路径请改成你们自己的
设置自启
systemctl enable tomcat.service
systemctl daemon-reload
//可以选择重启虚拟机查看一下状态
systemclt start/status/stop/restart tomcat
设置防火墙
firewall-cmd --zone=public --add-port=8080/tcp --permanent
firewall-cmd --reload
可以打开浏览器查看一下tomcat
2)Tomcat开启manager和host-manager界面
从英文就可以看出这是服务器状态,我们要开启它,没开启之前点他应该会报403
错误
前言:
Tomcat的安装好了之后,会默认带几个web应用程序
默认会提供host-manager和manager的管理界面
但是如果直接访问http://192.168.253.154:8080/manager/则会被拒绝
开启manager界面
第一步需要修改/zking/apache-tomcat-8.5.20/webapps/manager/META-INF/context.xml
(你自己的tomcat路径)
原文件为
<Context antiResourceLocking="false" privileged="true" >
<Valve className="org.apache.catalina.valves.RemoteAddrValve"
allow="127\.\d+\.\d+\.\d+|::1|0:0:0:0:0:0:0:1" />
<Manager sessionAttributeValueClassNameFilter="java\.lang\.(?:Boolean|Integer|Long|Number|String)|org\.apache\.catalina\.filters\.CsrfPreventionFilter\$LruCache(?:\$1)?|java\.util\.(?:Linked)?HashMap"/>
</Context>
修改后
<Context antiResourceLocking="false" privileged="true" >
<Valve className="org.apache.catalina.valves.RemoteAddrValve"
allow="127\.\d+\.\d+\.\d+|::1|0:0:0:0:0:0:0:1|192\.168\.208\.\d+" />
<Manager sessionAttributeValueClassNameFilter="java\.lang\.(?:Boolean|Integer|Long|Number|String)|org\.apache\.catalina\.filters\.CsrfPreventionFilter\$LruCache(?:\$1)?|java\.util\.(?:Linked)?HashMap"/>
</Context>
也就是在Valve组件中的allow行 加入192\.168\.208\.\d+
其中192.168.208.0
这个网段是我虚拟机的网段 根据不同可以自己调整
第二步 添加用户
tomcat已经设置了4个特殊的角色
- manager-gui - 访问HTML界面。
- manager-status - 只能访问“服务器状态”页面。
- manager-script - 这个权限是指可以执行url命令后面会演示
- manager-jmx - 访问JMX代理接口并访问“服务器状态”页面。
修改配置文件zking/apache-tomcat-8.5.20/conf/tomcat-users.xml
增加下面几行
<role rolename ="manager-gui"/>
<role rolename ="manager-status"/>
<role rolename ="manager-script"/>
<user username ="Tomcat-manager" password ="manager" roles ="manager-gui,manager-status,manager-script"/> ##设置登陆的用户密码
第三步重启tomcat
systemctl restart tomcat
第四步测试manager-gui
这四步 转载博客:
https://blog.csdn.net/l835311324/article/details/80617221
3)Tomcat内存优化
即通过环境变量JAVA_OPTS
修改JVM
内存大小达到优化的目的。
此环境变量JAVA_OPTS
要添加在tomcat的bin下catalina.sh里,位置cygwin=false
前
JAVA_OPTS="-server -Xms2048m -Xmx2048m -Xmn768m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=256m -Djava.awt.headless=true"
参数说明:
#-server
:启用jdk的server版,一定要作为第一个参数,在多个CPU时性能佳
#-Xms2048m
:设置JVM最大可用内存为2048MB
#-Xmx2048m
:设置JVM初始可用内存为2048MB,
注:Xms与Xmx普遍选择配置相同的大小,可以根据实际情况由小向大增加,建议设为物理内存的一半。不可超过物理内存。
#-Xmn768m
:年轻代内存大小,Sun官方推荐配置为整个堆的3/8,即:2048*3/8=768
#-XX:PermSize=128m
:设置堆栈永久区起始大小为128m
#-XX:MaxPermSize=256m
:设置堆栈永久区最大大小为256m
注1:在JDK1.8中,取消了PermGen,取而代之的是Metaspace,所以PermSize和MaxPermSize参数失效,
注2:取而代之的是-XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=256m
#-Djava.awt.headless=true :linux下处理图片时需加上(windows上不会出问题),否则抛异常:Exception in thread "main" Java.lang.InternalError: Can't connect to X11 window server using ':0.0' as the value of the DISPLAY variable
#以下参数用于系统调试时使用,可加可不加
#-XX:+UseParallelOldGC
#-XX:+PrintGCDateStamps
#-XX:+PrintGCDetails
#-Xloggc:/opt/tomcat/log/gc.log :UseParallelOldGC、PrintGCDateStamps、PrintGCDetails、Xloggc:/opt/tomcat/log/gc.log设置GClog日志,这个对分析tomcat中JVM内存使用情况非常有效
#-XX:+HeapDumpOnOutOfMemoryError
#-XX:HeapDumpPath=/opt/tomcat/heap.bin :设置内存溢出时,输出HeapDump,具体如何使用分析HeapDump文件,请参考:http://vekergu.blog.51cto.com/9966832/1619640
注1:如何验证Tomcat的JVM内存大小已优化,即设置已生效呢?
启动tomcat服务后,打开浏览器进入Server Status,查看JVM具体配置情况。
我给Linux只分配了 1核cpu,1024g内存,所以只分了1024g
4)Tomcat并发优化(即Tomcat线程优化)
修改conf/server.xml,添加Executor,然后在Connector元素添加此线程池的引用
<Executor name="tomcatThreadPool"
namePrefix="catalina-exec-"
prestartminSpareThreads="true"
maxThreads="800"
maxQueueSize="100"
minSpareThreads="50"
maxIdleTime="12000"
threadPriority="5"
/>
属性说明:
name="tomcatThreadPool"
# 配置TOMCAT共享线程池,NAME为名称
namePrefix="catalina-exec-"
# 线程的名字前缀,用于标记线程名称
prestartminSpareThreads="true"
# executor启动时,是否开启最小的线程数
maxThreads="800"
# 最大并发连接数,不配置时默认200,一般建议设置500~ 800
maxQueueSize="100"
# 任务队列上限
minSpareThreads="50"
# 最小的保持活跃的线程数量,默认是25.这个要根据负载情况自行调整了。太小了就影响反应速度,太大了白白占用资源
maxIdleTime="12000"
# 线程空闲时间,超过该时间后,空闲线程会被销毁,默认值为6000(1分钟),单位毫秒
threadPriority="5"
# 线程池中线程优先级,默认值为5,值从1到10
修改Connector元素,添加Connectorexecutor
属性,tomcatThreadPool
即上面配置的线程池
<Connector port="8080"
protocol="org.apache.coyote.http11.Http11NioProtocol"
...
executor="tomcatThreadPool"
/>
分别在
注:
最小线程数设置成功,最大线程数为-1
;之后将maxThreads
改成了默认值200,1000等等,都是显示-1
; 难道这个属性失效了吗?
经过测试,这个属性是生效的,但为什么会显示-1呢? 查了tomcat文档的maxThreads属性:
最后一句话“Note that if an executor is configured any value set for this attribute will be
recorded correctly but it will be reported (e.g. via JMX) as -1 to make clear that it is not used.”就说到了这个情况,
意思大概是: 如果配置了一个Executor
,则该属性的任何值集将被正确记录,但是它将被显示为-1
5)Tomcat的IO优化
即修改Tomcat Connector运行模式,Tomcat Connector(Tomcat连接器)有bio
、nio
、apr
三种运行模式。
BIO
同步阻塞IO,每个请求都要创建一个线程来处理,线程开销比较大,tomcat7或以下,在Linux系统中默认使用这种方式。
缺点:并发量高时,线程数较多,浪费资源。
NIO
异步非阻塞IO,利用Java的异步IO处理可以通过少量的线程处理大量的请求,Tomcat8在Linux系统中默认使用这种方式。
Tomcat7必须修改Connector的protocol属性配置来启动:
<Connector port="8080" protocol="org.apache.coyote.http11.Http11NioProtocol"
connectionTimeout="20000" redirectPort="8443"/>
APR
大杀器APR,即Apache Portable Run-time libraries,从操作系统层面解决io
阻塞问题。
apr
也是在Tomcat上运行高并发应用的首选模式
Tomcat7或Tomcat8在Win7或以上的系统中启动默认使用这种方式。
Linux如果安装了apr
和native
,Tomcat直接启动就支持apr
。
APR安装所需软件(也可以通过yum网上直接下载)
apr-1.6.5.tar.gz
apr-iconv-1.2.2.tar.gz
apr-util-1.6.1.tar.gz
tomcat-native(tomcat自带、bin目录下)
上传软件
将包含安装软件的文件夹apr传至/usr/local/java
目录下
mkdir /usr/local/java
上传文件到该目录,文件具体资料在最下方
解压安装文件
tar -zxf apr-1.6.5.tar.gz && tar -zxf apr-iconv-1.2.2.tar.gz && tar -zxf apr-util-1.6.1.tar.gz
安装apr需要依赖安装
yum install -y apr-devel openssl-devel gcc make expat-devel libtool
安装apr基础包
cd /usr/local/java/apr/apr-1.6.5 //进入apr解压后的目录
./configure --prefix=/usr/local/apr && make && make install
注1:–prefix参数用于指定apr的安装路径,默认值就是“/usr/local/apr”,所以上面的命令也可以写成如下格式:./configure && make && make install
安装apr-iconv包
cd /usr/local/java/apr/apr-iconv-1.2.2
./configure --prefix=/usr/local/apr-iconv --with-apr=/usr/local/apr && make && make install
注1:–prefix参数用于指定apr-iconv的安装路径
注2:–with-apr告知apr-iconv配置的时候apr的路径在什么地方
安装apr-util包
cd /usr/local/java/apr/apr-util-1.6.1
./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr --with-apr-iconv=/usr/local/apr-iconv/bin/apriconv && make && make install
注1:–prefix参数用于指定apr-util的安装路径
注2:–with-apr告知apr-util配置的时候apr的路径在什么地方
注2:–with-apr-iconv告知apr-util配置的时候apr-iconv的路径在什么地方
安装openssl(此步骤可省略,CentOS7已安装openssl)
注:可通过如下命令查看OpenSSL相关情况:
openssl version -a
修改配置server.xml添加apr支持
cd /usr/local/apache-tomcat-8.5.20/conf
vim server.xml
将配置中的Connector port="8080" protocol="HTTP/1.1"
改成Connector port="8080" protocol="org.apache.coyote.http11.Http11AprProtocol"
将配置中的 Connector port="8009" protocol="AJP/1.3" redirectPort="8443"
改成 Connector port="8009" protocol="org.apache.coyote.ajp.AjpAprProtocol" redirectPort="8443"
配置apr相关环境变量
vim /etc/profile
#在文件的最后增加以下内容
export JAVA_HOME=/usr/local/java/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH #配置过不需要再次配置
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/apr/lib
export LD_RUN_PATH=$LD_RUN_PATH:/usr/local/apr/lib
设置环境变量立即生效
source /etc/profile
注1:没有配置SSL相关参数,并且开启了SSL,启动时会发生org.apache.tomcat.jni.Error: 70023
错误
解决方案一:配置SSL
解决方案二:要抑制此信息只要修改server.xml配置apr的sslengine=off
即可,如<Listener className="org.apache.catalina.core.AprLifecycleListener" SSLEngine="off" />
最后把之前注释掉的文件给取消注释
修改文件把取消掉那两行注释
vi /usr/lib/systemd/system/tomcat.service
重启tomcat
百度云链接:
链接:https://pan.baidu.com/s/1zlOL4wtYifFVDa9G5vFGlg
提取码:68ct
复制这段内容后打开百度网盘手机App,操作更方便哦