POWERSHELL 多线程在大数据文本中查找字符串

最新推荐文章于 2024-01-30 13:39:04 发布

置顶

yhcfsr

最新推荐文章于 2024-01-30 13:39:04 发布

阅读量1.2k

点赞数

分类专栏： PowerShell 文章标签： PowerShell

本文链接：https://blog.csdn.net/yhcfsr/article/details/80960070

版权

本文探讨如何利用PowerShell解决大数据文本比对问题。通过对比逐行比对和整体匹配的效率，提出多线程解决方案，将大文件分成多个部分，每个部分由独立线程进行匹配，显著提高处理速度。

摘要由CSDN通过智能技术生成

问题:有个文件”SN12345678_古典名著.txt”,一个数据文本test.txt. test.txt的行内容格式大致如下:

"12345678","三国演义","罗贯中","200","人民出版社",

提取”SN12345678_古典名著.txt”中的8位数字,在test.txt中第一列(假设以逗号做为列的分隔符)进行比对,如果匹配成功,就将”SN12345678_古典名著.txt”重命名为”三国演义_12345678.txt”.

如果逐行比对,如果test.txt有300W行,可能几个小时都出不了结果.

将test.txt读入变量,用正则对整个变量进行匹配,比逐行比对效率要高的多.

$content=[System.IO.File]::ReadAllLines('d:\test.txt',[text.encoding]::Default)
$content -match '12345678'

如果匹配成功,会列出所有匹配的内容,而不是布尔值.这样就可以提取结果中的内容.
然而,这个方案的效率还是不能让人满意.于是想到了多线程.

将test.txt的内容分割成N段,每段1W行,为每段建一个线程,共N个线程,每个线程单独进行匹配.可能逐行比对几个小时才能完成的任务,这个方案几十秒就完成了.

#============脚本块============

关注

专栏目录