plsa的java实现_java 多线程访问mongodb速度和单线程差不多

我现在基于probalistic latent semantic indexing(plsa)做图像检索,我的方法和这篇论文很像,需要计算一个条件概率p(z|w,v,d),我直接定义成了“double pzdwtwv[][][][];”简单地说,z是主题,w是英文单词,v是视觉单词,d是文档,大小分别为12100500*7000,就是12个主题,100个英文单词,500个视觉单词,7000个文档,double型的话算下来大概32G,其中z和d的数目是确定的,每个d的w和v的数目是不确定的。

因为数组不能全部放进内存,所以把它放进数据库中,我的数据库是这样设计的,把四维数组拆成二维数组,每次读或写一个二维数组。

我使用了40个线程跑算法,数据库中在collection中每个键对应的值是一个二维数组,每次计算完这个二维数组后就写入数据库,我的方法是这样的:

public synchronized void update(int d, int t, double[][][] topic_pro )

{

if(ifTrainset)

mongo.update(true, (d+1)*100 + t, topic_pro[t]);

else

mongo.update(false, (d+1)*100 + t, topic_pro[t]);

}

pzdwtwv和pzdwtwv_test是不同的collection。

mongo.update方法是这样的:

public void update(boolean ifTrainset, int key, double[][] new_value)

{

BasicDBObject query = new BasicDBObject().append("key", key);

BasicDBObject updated_element = new BasicDBObject();

updated_element.append("$set", new BasicDBObject().append("value", new_value));

if (ifTrainset)

{

p_z_d_wt_wv.update(query, updated_element, true, false);

}else{

p_z_d_wt_wv_test.update(query, updated_element, true, false);

}

}

另外,运行程序的时候,cpu利用率很低,大概7%~8%左右,但是内存几乎达到100%。

请问这个怎么解决

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值