linux上处理大文件生成loadrunner参数dat格式的文件直接使用

背景及需求：

导出了线上的一批accesslog，大概有200多W条数据，获取accesslog中URL这一个字段出来，一共也是200多W的文本数据，如果按常规处理手段来，那无论是notepad+还是excel还是lr的dat都无法识别这么大量的数据。

在linux上做一些处理：

1、切割大文件，最终处理成差不多10W一个文件

2、批量更改切割的文件后缀，生成.dat格式，挪到loadrunner项目中直接当参数使用

3、切割后的文件，要在每个文件第一行加一个标头，因为lr中作参数要用到title的

首先：切割大文件

[root@x-xx jieguo]#  split -l 1000 ../part_42.dat part_

语法涉及：

#加上-d，使用数字后缀；加上--verbose，显示分割进度：
#large_file.txt要分割的大文件，part_分割后的名字
split -l50000 -d large_file.txt part_ --verbose

其次：批量生成dat后缀的文件

#!/bin/bash

#批量更改名称
for i in * 
do 
mv $i $i".dat" 
done

再次：指加标头