背景及需求:
导出了线上的一批accesslog,大概有200多W条数据,获取accesslog中URL这一个字段出来,一共也是200多W的文本数据,如果按常规处理手段来,那无论是notepad+还是excel还是lr的dat都无法识别这么大量的数据。
在linux上做一些处理:
1、切割大文件,最终处理成差不多10W一个文件
2、批量更改切割的文件后缀,生成.dat格式,挪到loadrunner项目中直接当参数使用
3、切割后的文件,要在每个文件第一行加一个标头,因为lr中作参数要用到title的
首先:切割大文件
[root@x-xx jieguo]# split -l 1000 ../part_42.dat part_
语法涉及:
#加上-d,使用数字后缀;加上--verbose,显示分割进度:
#large_file.txt要分割的大文件,part_分割后的名字
split -l50000 -d large_file.txt part_ --verbose
其次:批量生成dat后缀的文件
#!/bin/bash
#批量更改名称
for i in *
do
mv $i $i".dat"
done
再次:指加标头