1.引言
从原始数据文件中获取各种类型的数据,将其去除报头后输出到根据数据类型命名的不同文件中。这一分拣和格式化数据的任务是很多数据分析处理的基本部分。实现这一任务可以选择多种可能的方式:用Awk、grep/sed/awk组合或者Perl来实现。
为了比较这三种实现方式的性能,我们选择了同样的数据进行测试,分别用三种方式编程,实现同样的功能,并且比较其运行时间性能。
我们使用的各种工具及操作系统版本如下:
从原始数据文件中获取各种类型的数据,将其去除报头后输出到根据数据类型命名的不同文件中。这一分拣和格式化数据的任务是很多数据分析处理的基本部分。实现这一任务可以选择多种可能的方式:用Awk、grep/sed/awk组合或者Perl来实现。
为了比较这三种实现方式的性能,我们选择了同样的数据进行测试,分别用三种方式编程,实现同样的功能,并且比较其运行时间性能。
我们使用的各种工具及操作系统版本如下: