ImportNew注:如果你也对Java技术翻译分享感兴趣,欢迎加入我们的 Java开发 小组。参与方式请查看小组简介。
几天前我发现了一个小问题:有一个服务器在跑了一段时间后挂掉了。重启脚本和系统后,这个问题还是会出现。因为问题代码不是关键业务,所以尽管有大量的数据丢失,但是问题并不严重。不过我还是决定作进一步的调查,来探寻一下问题到底出现在哪。首先注意到的是,服务器通过了所有的单元测试和集成环境的完整测试。在测试环境下使用测试数据时运行得非常正常。那么为什么在工作环境中一跑起来就会出现问题呢?很容易就能想到,也许是因为在实际运行时的负载大于测试,甚至超过了设计时所能承载的负重,从而耗尽了资源。但是到底是什么资源,又是在哪里耗尽的呢?这就是本文需要探究的难题。
为了演示如何调查这个问题,第一件事情就是写一些内存泄露的代码。我将会采用生产者—消费者模型,以便更好的说明这个问题。
和往常一样,为了说明内存泄露代码,我需要人为建立一个场景。在这个场景中,假定你为一个证劵经纪公司工作,这个公司将股票的销售额和股份记录在一个数据库中。通过一个简单进程获取命令并将其存放在一个队列中。另一个进程从该队列中读取命令并将其写入数据库。命令的POJO(简单Java对象)非常的直观:
public class Order {
private final int id;
private final String code;
private final int amount;
private final double price;
private final long time;
private final long[] padding;
/**
* @param id
* The order id
* @param code
* The stock code
* @param amount
* the number of shares
* @param price
* the price of the share
* @param time
* the transaction time
*/
public Order(int id, String code, int amount, double price, long time) {
super();
this.id = id;
this.code = code;
this.amount = amount;
this.price = price;
this.time = time;
// This just makes the Order object bigger so that
// the example runs out of heap more quickly.
this.padding = new long[3000];
Arrays.fill(padding, 0, padding.length - 1, -2);
}
public int getId() {
return id;
}
public String getCode() {
return code;
}
public int getAmount() {
return amount;
}
public double getPrice() {
return price;
}
public long getTime() {
return time;
}
}
这个命令POJO是Spring应用的一部分。这个应用有三个主要的抽象类,当应用调用他们的start()方法时分别创建一个新进程。
第一个抽象类是OrderFeed。run()方法会生成一个虚拟的命令并将其放置在队列中。生成命令后它会睡眠一会儿,然后生成一个新的命令。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
|
public
class
OrderFeed
implements
Runnable {
private
static
Random rand =
new
Random();
private
static
int
id =
0
;
private
final
BlockingQueue<Order> orderQueue;
public
OrderFeed(BlockingQueue<Order> orderQueue) {
this
.orderQueue = orderQueue;
}
/**
* Called by Spring after loading the context. Start producing orders
*/
public
void
start() {
Thread thread =
new
Thread(
this
,
"Order producer"
);
thread.start();
}
/** The main run loop */
@Override
public
void
run() {
while
(
true
) {
Order order = createOrder();
orderQueue.add(order);
sleep();
}
}
private
Order createOrder() {
final
String[] stocks = {
"BLND.L"
,
"DGE.L"
,
"MKS.L"
,
"PSON.L"
,
"RIO.L"
,
"PRU.L"
,
"LSE.L"
,
"WMH.L"
};
int
next = rand.nextInt(stocks.length);
long
now = System.currentTimeMillis();
Order order =
new
Order(++id, stocks[next], next *
100
, next *
10
, now);
return
order;
}
private
void
sleep() {
try
{
TimeUnit.MILLISECONDS.sleep(
100
);
}
catch
(InterruptedException e) {
e.printStackTrace();
}
}
}
|
第二个类是OrderRecord,这个类负责从队列中提取命令并将它们写入数据库。问题是,将命令写入数据库的耗时比产生命令的耗时要长得多。为展示这一现象,我将在recordOrder()方法中让其睡眠1秒。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
|
public
class
OrderRecord
implements
Runnable {
private
final
BlockingQueue<Order> orderQueue;
public
OrderRecord(BlockingQueue<Order> orderQueue) {
this
.orderQueue = orderQueue;
}
public
void
start() {
Thread thread =
new
Thread(
this
,
"Order Recorder"
);
thread.start();
}
@Override
public
void
run() {
while
(
true
) {
try
{
Order order = orderQueue.take();
recordOrder(order);
}
catch
(InterruptedException e) {
e.printStackTrace();
}
}
}
/**
* Record the order in the database
*
* This is a dummy method
*
* @param order
* The order
* @throws InterruptedException
*/
public
void
recordOrder(Order order)
throws
InterruptedException {
TimeUnit.SECONDS.sleep(
1
);
}
|
结果将是显而易见的,OrderRecord线程跟不上命令产生的速度,导致这个队列越来越长,直到JAVA虚拟机用尽堆内存从而崩溃。这就是生产者—消费者模式的存在一个大问题:消费者的速度必须跟上生产者的速度。
为了证明这一点,我加入了第三个类OrderMonitor。这个类每隔几秒就会打印出队列的大小,这样就能看到运行时产生的问题。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
public
class
OrderQueueMonitor
implements
Runnable {
private
final
BlockingQueue<Order> orderQueue;
public
OrderQueueMonitor(BlockingQueue<Order> orderQueue) {
this
.orderQueue = orderQueue;
}
public
void
start() {
Thread thread =
new
Thread(
this
,
"Order Queue Monitor"
);
thread.start();
}
@Override
public
void
run() {
while
(
true
) {
try
{
TimeUnit.SECONDS.sleep(
2
);
int
size = orderQueue.size();
System.out.println(
"Queue size is:"
+ size);
}
catch
(InterruptedException e) {
e.printStackTrace();
}
}
}
|
为了完成Spring框架,我加入了应用上下文,示例代码如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
<?
xml
version
=
"1.0"
encoding
=
"UTF-8"
?>
<
beans
xmlns
=
"http://www.springframework.org/schema/beans"
xmlns:p
=
"http://www.springframework.org/schema/p"
xmlns:xsi
=
"http://www.w3.org/2001/XMLSchema-instance"
xmlns:context
=
"http://www.springframework.org/schema/context"
xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.1.xsd"
default-init-method
=
"start"
default-destroy-method
=
"destroy"
>
<
bean
id
=
"theQueue"
/>
<
bean
id
=
"orderProducer"
>
<
constructor-arg
ref
=
"theQueue"
/>
</
bean
>
<
bean
id
=
"OrderRecorder"
>
<
constructor-arg
ref
=
"theQueue"
/>
</
bean
>
<
bean
id
=
"QueueMonitor"
>
<
constructor-arg
ref
=
"theQueue"
/>
</
bean
>
</
beans
>
|
下一步就是把这个内存泄露的代码跑起来,你需要改变下面的目录:
1
|
<your-path>
/git/captaindebug/producer-consumer/target/classes
|
然后输入下面的命令:
1
|
java -cp /path-to/spring-beans-
3.2
.
3
.RELEASE.jar:/path-to/spring-context-
3.2
.
3
.RELEASE.jar:/path-to/spring-core-
3.2
.
3
.RELEASE.jar:/path-to/slf4j-api-
1.6
.
1
-javadoc.jar:/path-to/commons-logging-
1.1
.
1
.jar:/path-to/spring-expression-
3.2
.
3
.RELEASE.jar:. com.captaindebug.producerconsumer.problem.Main
|
“path-to”对应着你的jar文件目录。
Java比较讨厌的一点是,从命令行来运行程序非常的困难——你必须要搞清楚类的目录、选项、需要设定的属性、main所在的类在哪里。当然,有方法能让你只需要输入Java的项目名称,然后Java虚拟机帮你把一切都搞定,特别是使用默认设置:这有多难呢?
你也可以通过附加一个简单的JConsole来监控应用程序的内存泄漏。如果你最近运行过,则需要在上面的命令行中添加如下的选项(选择自己的端口号):
1
2
3
4
5
|
-Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.port=9010
-Dcom.sun.management.jmxremote.
local
.only=
false
-Dcom.sun.management.jmxremote.authenticate=
false
-Dcom.sun.management.jmxremote.ssl=
false
|
如果你看看堆的使用量,你会发现随着队列的增大堆逐渐变大。
![](https://i-blog.csdnimg.cn/blog_migrate/7d35305906bb6fed2ffa0f9a8601c07b.png)
你可能不会发现1KB的内存泄露,但1GB的内存泄露就很明显了。所以,接下来要做的事情就是等待内存的泄露直到进入下一个阶段的研究。下回见……
原文链接: captaindebug 翻译: ImportNew.com - 黄索远
译文链接: http://www.importnew.com/7807.html