初遇NIO

      在实验室做事情,帮着学长处理比较大的数据(至少对我来说比较大)。有80G的纯文件,需要对其中的数据进行处理,筛选。我先用了其中的13.4M的数据进行试一下。
目标:
    数据是csv文件,需要对其中符合某个条件的数据提取出来,并且对该数据进行操作,选择该数据中的其中一部分,然后再写入数据库

实现:
普通流读取:
    单纯按行读出:200-300ms
    处理:800-1000ms

NIO内存映射
    单纯读出:30-50ms
    处理:2300-2500ms左右     
 
  原因:读出数据后需要进行操作。使用内存映射方法,需要处理缓冲区,比较麻烦。估计是处理数据并写回数据花费了大量时间     

导入
  100s

整体:0.8+100=100.8
        1024/13*100.8/60*80=。。。不敢算,80G 的数据需要太长的时间.....

所以怎么才能快速的处理这些数据呢...
NIO的入门教程,感觉很清晰:http://www.ibm.com/developerworks/cn/education/java/j-nio/index.html
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值