设置最佳线程数总结

最佳线程数:

性能压测的情况下，起初随着用户数的增加，QPS会上升，当到了一定的阀值之后，用户数量增加QPS并不会增加，或者增加不明显，同时请求的响应时间却大幅增加。这个阀值我们认为是最佳线程数。

 

为什么要找最佳线程数

1.过多的线程只会造成，更多的内存开销，更多的CPU开销，但是对提升QPS确毫无帮助

2.找到最佳线程数后通过简单的设置，可以让web系统更加稳定，得到最高，最稳定的QPS输出

 

最佳线程数的获取：

1、通过用户慢慢递增来进行性能压测，观察QPS，响应时间

2、根据公式计算:服务器端最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间) * cpu数量

3、单用户压测，查看CPU的消耗，然后直接乘以百分比，再进行压测，一般这个值的附近应该就是最佳线程数量。

 

影响最佳线程数的主要因素：

1、IO

2、CPU

根据公式：服务器端最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间) * cpu数量

一般来说是IO和CPU。IO开销较多的应用其CPU线程等待时间会比较长，所以线程数量可以开的多一些，相反则线程数量要少一些，其实有两种极端，纯IO的应用，比如proxy，则线程数量可以开到非常大（实在太大了则需要考虑线程切换的开销），这种应用基本上后端（比如这个proxy是代理搜索的）的QPS能有多少，proxy就有多少。

另一种是耗CPU的计算，这种情况一般来讲只能开到CPU个数的线程数量。但是并不是说这种应用的QPS就不高，往往这种应用的QPS可以很高。

 

QPS和线程数的关系

1、在最佳线程数量之前，QPS和线程是互相递增的关系，线程数量到了最佳线程之后，QPS持平，不在上升，甚至略有下降，同时相应时间持续上升。

2、同一个系统而言，支持的线程数越多（最佳线程数越多而不是配置的线程数越多），QPS越高

 

QPS和响应时间的关系

1、对于一般的web系统，响应时间一般有CPU执行时间+IO等待时间组成

2、CPU的执行时间减少，对QPS有实质的提升，IO时间的减少，对QPS提升不明显。如果要想明显提升QPS，优化系统的时候要着重优化CPU消耗大户。

 

最佳线程数和jvm堆内存得关系：

以上都是依据性能瓶颈在CPU的情况，对于java应用还有一个因素是FULL GC，我们要保证在最佳线程数量下，不会发生频繁FULL GC

根据公式：：(小GC时间间隔/rt)*(并发线程数量 * thm) <=young 计算得到的并发线程数量如果<最佳线程数量 则可能导致FULL GC较频繁，实际情况看来这种情况在web系统上非常少。不过可以模拟出来。

所以我们在设置jboss线程的时候，可以利用内存公式计算出来的线程数量来设置，通过压测和计算得到最佳线程数，然后设置线程数。

 

设置线程数量：

压测最佳线程数<真实设置的线程数量<内存极限线程数

比如，通过压测得到某系统的最佳线程数量是10，然后通过内存计算的线程数量是20，则，设置jboss的线程数量为15是可行的，如果直接设置了10，由于系统本身会受到一些依赖系统的变化而产生一些变化，比如系统依赖一些IO的响应时间会突然延长，由于线程数量还是10，其实这个时候最佳线程数量已经变成了13了，由于我们设置死了10，其结果就是导致qps下降，但是如果超过20，则又会引起FULL gc非常频繁，反过来影响QPS的下降。

 

jboss的线程数设置：

对于jboss而言，设置线程数量要看使用了那种线程连接，如http、ajp等

http和ajp的设置是完全一样的，非常简单：

以ajp为例，找到server.xml或者tomcat-server.xml:

默认线程数量是200个

 <Connector port="8009" address="${jboss.bind.address}" connectionTimeout="15000" protocol="AJP/1.3"maxThreads="200" minSpareThreads="40" maxSpareThreads="75" maxPostSize="512000" acceptCount="300" bufferSize="16384" emptySessionPath="false" enableLookups="false" redirectPort="8443" useBodyEncodingForURI="true"/>

这里将默认的线程数量改成了20，当然相应的其他最小空闲线程数和最大空闲线程数也做一下调整：

<Connector port="8009" address="${jboss.bind.address}" connectionTimeout="15000" protocol="AJP/1.3"maxThreads="20" minSpareThreads="20" maxSpareThreads="20" maxPostSize="512000" acceptCount="300" bufferSize="16384" emptySessionPath="false" enableLookups="false" redirectPort="8443" useBodyEncodingForURI="true"/>

这两天为了定位JBOSS老是挂死的问题，学习了一下JAVA多线程方面的知识，在此总结一下

1、在Java程序中，JVM负责线程的调度。线程调度是指按照特定的机制为多个线程分配CPU的使用权。
调度的模式有两种：分时调度和抢占式调度。分时调度是所有线程轮流获得CPU使用权，并平均分配每个线程占用CPU的时间；抢占式调度是根据线程的优先级别来获取CPU的使用权。JVM的线程调度模式采用了抢占式模式。

2、Thread类实际上也是实现了Runnable接口的类。
在启动的多线程的时候，需要先通过Thread类的构造方法Thread(Runnable target) 构造出对象，然后调用Thread对象的start()方法来运行多线程代码。
实际上所有的多线程代码都是通过运行Thread的start()方法来运行的。因此，不管是扩展Thread类还是实现Runnable接口来实现多线程，最终还是通过Thread的对象的API来控制线程的，熟悉Thread类的API是进行多线程编程的基础。

3、JAVA多线程涉及到2个问题，一个是线程的调度，另一个是线程的同步

4、线程的状态有：new、runnable、running、waiting、timed_waiting、blocked、dead

当执行new Thread(Runnable r)后，新创建出来的线程处于new状态，这种线程不可能执行

当执行thread.start()后，线程处于runnable状态，这种情况下只要得到CPU，就可以开始执行了。runnable状态的线程，会接受JVM的调度，进入running状态，但是具体何时会进入这个状态，是随机不可知的

running状态中的线程最为复杂，可能会进入runnable、waiting、timed_waiting、blocked、dead状态：
如果CPU调度给了别的线程，或者执行了Thread.yield()方法，则进入runnable状态，但是也有可能立刻又进入running状态
如果执行了Thread.sleep(long)，或者thread.join(long)，或者在锁对象上调用object.wait(long)方法，则会进入timed_waiting状态
如果执行了thread.join()，或者在锁对象上调用了object.wait()方法，则会进入waiting状态
如果进入了同步方法或者同步代码块，没有获取锁对象的话，则会进入blocked状态

处于waiting状态中的线程，如果是因为thread.join()方法进入等待的话，在目标thread执行完毕之后，会回到runnable状态；如果是因为object.wait()方法进入等待的话，在锁对象执行object.notify()或者object.notifyAll()之后会回到runnable状态

处于timed_waiting状态中的线程，和waiting状态中的差不多，只不过是设定时间到了，就会回到runnable状态

处于blocked状态中的线程，只有获取了锁之后，才会脱离阻塞状态

当线程执行完毕，或者抛出了未捕获的异常之后，会进入dead状态，该线程结束

5、当线程池中线程都具有相同的优先级，调度程序的JVM实现自由选择它喜欢的线程。这时候调度程序的操作有两种可能：一是选择一个线程运行，直到它阻塞或者运行完成为止。二是时间分片，为池内的每个线程提供均等的运行机会。

6、设置线程的优先级：线程默认的优先级是创建它的执行线程的优先级。可以更改线程的优先级。

JVM从不会改变一个线程的优先级。然而，1-10之间的值是没有保证的。一些JVM可能不能识别10个不同的值，而将这些优先级进行每两个或多个合并，变成少于10个的优先级，则两个或多个优先级的线程可能被映射为一个优先级。

7、Thread.yield()方法作用是：暂停当前正在执行的线程对象，并执行其他线程。
yield()应该做的是让当前运行线程回到可运行状态，以允许具有相同优先级的其他线程获得运行机会。因此，使用yield()的目的是让相同优先级的线程之间能适当的轮转执行。但是，实际中无法保证yield()达到让步目的，因为让步的线程还有可能被线程调度程序再次选中。

结论：yield()从未导致线程转到等待/睡眠/阻塞状态。在大多数情况下，yield()将导致线程从运行状态转到可运行状态，但有可能没有效果。

8、另一个问题是线程的同步，这个我感觉比调度更加复杂一些

Java中每个对象都有一个“内置锁”，也有一个内置的“线程表”

当程序运行到非静态的synchronized方法上时，会获得与正在执行代码类的当前实例（this实例）有关的锁；当运行到同步代码块时，获得与声明的对象有关的锁

释放锁是指持锁线程退出了synchronized方法或代码块。

当程序运行到synchronized同步方法或代码块时对象锁才起作用。

一个对象只有一个锁。所以，如果一个线程获得该锁，就没有其他线程可以获得锁，直到第一个线程释放（或返回）锁。这也意味着任何其他线程都不能进入该对象上的synchronized方法或代码块，直到该锁被释放。

9、当提到同步（锁定）时，应该清楚是在哪个对象上同步（锁定）？

wait():使一个线程处于等待状态，并且释放所持有的对象的lock。

sleep():使一个正在运行的线程处于睡眠状态，是一个静态方法，调用此方法要捕捉InterruptedException异常。

notify():唤醒一个处于等待状态的线程，注意的是在调用此方法的时候，并不能确切的唤醒某一个等待状态的线程，而是由JVM确定唤醒哪个线程，而且不是按优先级。

Allnotity():唤醒所有处入等待状态的线程，注意并不是给所有唤醒线程一个对象的锁，而是让它们竞争。

10、synchronized和java.util.concurrent.locks.Lock的异同 ？

主要相同点：Lock能完成synchronized所实现的所有功能

主要不同点：Lock有比synchronized更精确的线程语义和更好的性能。synchronized会自动释放锁，而Lock一定要求程序员手工释放，并且必须在finally从句中释放。

转载地址：http://kyfxbl.iteye.com/blog/1370377