Julia: SSD条件下读CSV的速度

原创 2015年11月19日 18:11:06
               _
   _       _ _(_)_     |  A fresh approach to technical computing
  (_)     | (_) (_)    |  Documentation: http://docs.julialang.org
   _ _   _| |_  __ _   |  Type "?help" for help.
  | | | | | | |/ _` |  |
  | | |_| | | | (_| |  |  Version 0.5.0-dev+566 (2015-10-01 22:40 UTC)
 _/ |\__'_|_|_|\__'_|  |  Commit fdde0bd (48 days old master)
|__/                   |  x86_64-w64-mingw32

最近在SSD下测了一下读取CSV的速度:具体如下

一、6.5万行的CSV文件

julia> for i =1:3
            println("第  $(i)  文件::")
            name =string("C:\\Users\\Desktop\\MD",i,".csv")
           @time kk =readcsv(name)
       end1  文件::
  0.864097 seconds (2.69 M allocations: 89.255 MB, 2.69% gc time)
第  2  文件::
  0.465881 seconds (2.1 M allocations: 66.335 MB, 24.58% gc time)
第  3  文件::
  0.446851 seconds (2.1 M allocations: 66.335 MB)

其中,上面三个CSV文件约6.5万行,有9行的数据。如果按这个速度,差不多一秒有14万左右的速度。

二、在60万行CSV
我把上面的文件内容复制到近60万,再试一下读取的速度。

julia> for i =1:3
            println("第  $(i)  文件::")
            name =string("C:\\Users\\Desktop\\MD",i,".csv")
           @time kk =readcsv(name)
       end1  文件::
  4.041549 seconds (19.00 M allocations: 596.777 MB, 11.94% gc time)
第  2  文件::
  4.677666 seconds (19.00 M allocations: 596.789 MB, 29.21% gc time)
第  3  文件::
  5.182393 seconds (19.00 M allocations: 596.789 MB, 33.03% gc time)

可以看出,这个速度基本上还是比较线性的,差不多为1秒14万-15万行左右。

顺便提一下,读CSV的速度与CSV文件中的内容是isnumber,还是字符串,基本没影响。

版权声明:本文为博主原创文章,未经博主允许不得转载。

Rust: 从csv文件转成kbar的尝试:速度,还有Julia和激情

Rust把传统的行情csv文件转成kbar,会是一种什么样的体验?虽然现在早已在Julia回测框架中完,但Rust是如何,总想试一试。...
  • wowotuo
  • wowotuo
  • 2017年03月27日 22:22
  • 211

FIDIC条件下的索赔研究

  • 2011年07月20日 17:37
  • 262KB
  • 下载

csv读入数据,用julia/matplotlib/pyplot 画矢量图导入word中

这是是用julia来实现绘图,julia有三个绘图库:Winston、Gadfly、PyPlot 这里用的是pyplot,其实他是基于matplotlib的 1、首先在juno里安装两个库 juno是...

foobar音响条件下最强EQ配置

  • 2014年01月26日 14:07
  • 85B
  • 下载

Julia: readcsv 如何处理带中文字符的CSV文件

在我的有篇文中(http://blog.csdn.net/wowotuo/article/details/46841395),提到如何处理带中文字符的CSV文件. 这期,我将继续探讨一下这个问题。在...
  • wowotuo
  • wowotuo
  • 2016年02月28日 18:23
  • 1513

复杂条件下的圆检测技术研究

  • 2014年11月02日 17:24
  • 2.05MB
  • 下载

Julia: 如何读出csv文件中的中文字符?

经常会碰到csv等相关的文件,其中有中文字符,很自然,我们会想到readcsv,readdlm等内置的函数。 但这些并不能处理,会报相关字符错误。 今天,主要来探讨一下,有关这方面的问题。...
  • wowotuo
  • wowotuo
  • 2017年05月28日 21:25
  • 444
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Julia: SSD条件下读CSV的速度
举报原因:
原因补充:

(最多只允许输入30个字)