利用JAVA多线程来提高数据处理效率

在肿瘤大数据挖掘中,面对大量文本文件处理时,使用JAVA多线程可以显著提高计算速度。通过实例对比单线程与多线程执行累加任务,展示了多线程如何充分利用多核服务器资源,实现运算速度的提升。然而,线程安全是需要注意的重要问题。
摘要由CSDN通过智能技术生成

  肿瘤大数据挖掘中经常需要处理上百亿行的文本文件,这些文件往往高达数百GB,假如文件结构简单统一,那么用sed和awk 处理是非常方便和快速的。但有时候会遇到逻辑较为复杂的处理流程,这样我一般会用JAVA来处理。但由于JAVA是单线程的,因此对于实验室多核服务器来说,能充分有效的利用起每个核会方便不少,那么这个时候就推荐用多线程来并发(并行)处理任务,从而达到运算速度倍速的提升。

  这里举一个并行计算的例子。例子比较简单,主要是对三个数进行累加,最后输出结果。我们分别用单线程和多线程来执行,其中单线程是顺序执行而多线程则同时启动三个线程来并行(服务器CPU数大于三,所以这里是并行而不是并发)执行。

 

  首先是单线程的运行结果:

public class Nothreading
{
    public static void main(String[] args)
    {    
        long startTime = System.currentTimeMillis();
        int sum_i = 0;
        int sum_j = 0;
        int sum_k = 0;
        for(int i = 0; i < 10000; i++)
        {    
            sum_i += 1;
       /* 增加程序运行时间, 后面同理 */
for(int a = 0 ; a < 100000 ; a ++) { String s = "To cost some time"; String[] ss = s.split(" "); } } for(int j = 0; j < 10000; j++) { sum_j += 2; for(int a = 0 ; a < 100000 ; a ++
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值