python grep pipe 直接读文件 效率_Python读取文件直到匹配，读取直到下一个模式

最新推荐文章于 2021-02-09 02:57:15 发布
最新推荐文章于 2021-02-09 02:57:15 发布
阅读量235 收藏
点赞数
文章标签： python grep pipe 直接读文件 效率
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_31680649/article/details/113480114
版权
这篇博客讨论了如何使用Python高效地读取大型文件，尤其是寻找特定模式并打印其后续行。作者遇到的问题是，当文件大小达到10GB时，原始代码效率低下。他们通过使用正则表达式`re.match`来匹配模式，并展示了如何通过`grep`和`pipe`提升性能，但遇到了在Python 2.4.3中如何将`grep`与正则结合的挑战。最终，通过结合`os.system`和`grep`，将处理时间从约65秒降低到约3.5秒。
摘要由CSDN通过智能技术生成

Python2.4.3

我需要读一些文件(可以大到10GB)。我需要它做的是遍历文件，直到它匹配一个模式。然后打印该行及其后的每一行，直到它与另一个模式匹配为止。这时，继续读取文件，直到下一个模式匹配为止。

例如。文件包含。---- Alpha ---- Zeta

...(text lines)

---- Bravo ---- Delta

...(text lines)

等等

如果匹配——阿尔法——泽塔，它应该打印——阿尔法——泽塔以及之后的每一行，直到它遇到——布拉沃——德尔塔(或者除了——阿尔法——泽塔以外的任何东西)，它会一直读到匹配——阿尔法——泽塔为止。

下面匹配我要查找的内容-但只打印匹配的行-而不是后面的文本。

你知道我在这件事上做错了什么吗？import re

fh = open('text.txt', 'r')

re1='(-)' # Any Single Character 1

re2='(-)' # Any Single Character 2

re3='(-)' # Any Single Character 3

re4='(-)' # Any Single Character 4

re5='( )' # White Space 1

re6='(Alpha)' # Word 1

re6a='((?:[a-z][a-z]+))' # Word 1 alternate

re7='( )' # White Space 2

re8='(-)' # Any Single Character 5

re9='(-)' # Any Single Character 6

re10='(-)' # Any Single Character 7

re11='(-)' # Any Single Character 8

re12='(\\s+)' # White Space 3

re13='(Zeta)' # Word 2

re13a='((?:[a-z][a-z]+))' # Word 2 alternate

rg = re.compile(re1+re2+re3+re4+re5+re6+re7+re8+re9+re10+re11+re12+re13,re.IGNORECASE|re.DOTALL)

rga = re.compile(re1+re2+re3+re

最低0.47元/天 解锁文章
学院路吴彦祖
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python 查找文件内容性能 grep_python – 最快的方法来“grep”大文件
weixin_39549936的博客
12-11 1088
我有大型日志文件(从100MB到2GB),包含一个(单个)特定的行,我需要在Python程序中解析.我必须解析大约2万个文件.而且我知道所搜索的行是在文件的最后一行或最后15000个字节内.因为这是一个重复的任务,我需要它尽可能快.最快的方法是什么？我已经想到了4个策略：>在Python中读取整个文件并搜索正则表达式(method_1)>只读取文件的最后15,000个字节并搜索正则表达...
python grep pipe 直接读文件 效率_Linux grep大文件提速
weixin_34138014的博客
12-24 430
grep在utf8模式下的速度会很慢，这在grep小文件的时候没啥影响，但是grep大文件的时候就显得非常慢。解决grep大文件慢的方法就是不要设置为utf8模式。先用locale看一下目前的编码：LANG=en_US.UTF-8LC_CTYPE=”en_US.UTF-8″LC_NUMERIC=”en_US.UTF-8″LC_TIME=”en_US.UTF-8″LC_COLLATE=”en_US....
python grep pipe 直接读文件 效率_python – 迭代大部分文件的内存效率方法
weixin_33182798的博客
02-09 89
如果我正确理解你的问题,你遇到的问题是将所有文本行存储在列表中,然后采用切片会占用太多内存.你想要的是逐行读取文件,而忽略除一定行之外的所有行(例如,行[17,34]).尝试使用枚举来跟踪迭代文件时您所在的行号.这是一种基于生成器的方法,它使用yield一次只输出一个有趣的行：def read_only_lines(f, start, finish):for ii,line in enumerat...
python 查找文件内容性能 grep_Python与sed,grep文本查找效率对比小测
weixin_39529443的博客
12-11 340
Gnu awk作者在FreeBSD邮件列表中回答”GNU grep为什么比BSD grep要快“，提到了用到了Boyer-Moore算法，虽然不知道是什么，但感觉很厉害的样子~我猜想grep有多快呢？所以想比较下下python，sed与grep：测试文本：20w行，21M大python普通正则匹配：复制代码代码如下:#!/usr/bin/python3import ref=open('/tmp/t...
python for循环 文件写入的效率_Python：从数千个文件的列表中读取、提取和写入的for循环性能很慢...
weixin_39624733的博客
01-14 374
我从350000(20kb)ascii光栅文件中提取150个不同的单元格值。我当前的代码可以处理来自100个ascii文件的150个单元格值，但是在完整的数据集上运行时非常慢。在我还在学习python，有没有明显的效率低下？或者建议改进下面的代码。在我尝试过在第二个函数中关闭'dat'文件；没有任何改进。在dat = None第一：我有一个函数，它从笛卡尔网格返回行和列的位置。在^{pr2}$第二...
python实现实时监控文件的方法
09-21
通过 Python 的 `subprocess` 模块，我们可以直接在 Python 程序中执行这个命令，并读取其输出结果。 ```python import subprocess logfile = 'access.log' command = f'tail -f {logfile} | grep "timeout"' ...
python调用tcpdump抓包过滤的方法
09-20
以下是一个简单的Python脚本，它创建了两个进程：一个是tcpdump进程，另一个是grep进程，用于过滤捕获的数据包。 ```python import subprocess import fcntl import os def tcpdump(): # 定义tcpdump命令 cmd1 =...
Python实现处理管道的方法
09-21
例如，你可以用这种方法连接`grep`、`sort`、`wc`等命令，完成在Python中难以直接实现的文本处理任务。 总的来说，Python的`subprocess`模块和管道机制为我们提供了强大的工具，使我们能够在Python程序中轻松地与...
Python subprocess模块常见用法分析
09-20
例如，你可以先创建一个进程读取文件，再创建另一个进程处理读取的数据： ```python process1 = subprocess.Popen(['cat', 'input.txt'], stdout=subprocess.PIPE) process2 = subprocess.Popen(['grep', 'keyword'...
Python子进程subpocess原理及用法解析
09-16
在Python中，`subprocess`模块通常通过创建一个新进程来执行shell命令，这个新进程是独立于父进程的，有自己的内存空间和资源。 ### 子进程用法 #### 基本用法 `subprocess.run()`是`subprocess`模块中最常用的...
Semgrep是许多语言的轻量级静态分析。 使用看起来像源代码的模式查找错误变体。-Python开发
05-25
Semgrep是一种快速，开放源代码的静态分析工具，擅长表达代码标准-无需复杂的查询-并在编辑器，提交和CI时提早发现bug。 精确的规则看起来就像您要搜索的代码； 不再遍历抽象语法树或与正则表达式搏斗。 多种语言的轻量级静态分析。 查找错误并执行代码标准。 Semgrep是一种快速，开放源代码的静态分析工具，擅长表达代码标准-无需复杂的查询-并在编辑器，提交和CI时提早发现bug。 精确的规则看起来就像您要搜索的代码； 不再遍历抽象语法树或与正则表达式搏斗。 Semgrep注册表具有由Semgrep社区编写的1000多个涉及securi的规则
semgrep-rules：semgrep规则，用于在Python，Go和Java源代码中查找不确定性和错过的错误处理
01-29
semgrep规则 此存储库包含用于在Python，Go和Java源代码中查找不确定性和错过的错误处理的模式。 规则引擎当前支持 。 要运行单个semgrep规则： $ semgrep -f rules/<type>/<lang>/<rule>.yml . 要运行所有semgrep规则： $ semgrep -f rules/<type>/<lang>/ . Semgrep检查： 规则 Python 走 Java 假设时区 是 与当前时间比较 是 是 与浮点数比较 是 比较无序数据结构 是 错过重试访问 是 随机种子取决于当前时间 是 睡眠同步 是 是 是 参考文献： 片状测试的实证分析-罗青州，法拉赫·哈里里（Farah Hariri），拉米亚·伊卢西（Lamyaa Eloussi），达科·马里诺夫（Darko Marinov） 影响因素及其对测试脱皮性影响的经验分析-从业者的感知-Azeem Ahmad，Ola Leifler，Kristian Sandahl 大规模工业环境中导致根本错误的根本原因-荣·林，帕特里斯·戈德福里德，苏曼·纳特，阿尼鲁德·桑蒂亚尔，苏雷
python实现获取客户机上指定文件并传输到服务器的方法
09-22
主要介绍了python实现获取客户机上指定文件并传输到服务器的方法,涉及Python实现C/S架构程序与socket程序的使用技巧,需要的朋友可以参考下
python grep 列表,在python中使用grep
weixin_28684449的博客
12-24 1004
There is a file (query.txt) which has some keywords/phrases which are to be matched with other files using grep. The last three lines of the following code are working perfectly but when the same comm...
python读取下一个文件_Python通读文件直到匹配,读到下一个模式
weixin_39946327的博客
12-07 279
Python 2.4.3我需要读一些文件(可以大到10GB).我需要它做的是浏览文件,直到它匹配模式.然后打印该行以及后面的每一行,直到它与另一个模式匹配.此时,继续读取文件直到下一个模式匹配.例如.文件包含.---- Alpha ---- Zeta...(text lines)---- Bravo ---- Delta...(text lines)等等如果匹配—- Alpha —- Zeta,它...
python grep pipe 直接读文件 效率,读取文件搜索模式匹配的最快方法
weixin_39771614的博客
12-24 74
I made a python script to analyze logs. I have one observation to share, and two questions to ask.When I use gzip.open to open each file and go through every line, it takes around 200 seconds just to ...
python grep pipe 直接读文件 效率_三种用Python获取Linux资源信息的方法
weixin_32259601的博客
12-24 132
方法一：psutil模块#!usr/bin/env python# -*- coding: utf-8 -*-import socketimport psutilclass NodeResource(object):def get_host_info(self):host_name = socket.gethostname()return {'host_name':host_name}def ge...
python awk 读文件_文件内容比较awk,grep；逐行读取文件内容
weixin_39957461的博客
12-04 146
引用：学习shell的时候总是被shell里的条件判断方式搞得头疼，经常不知道改 用[],[[]],(())还是test,let，而很少有书把它们的关系讲解的很清楚(应该是我悟性差或是看书太少)，今天总结一下，基础的东西如它们 的使用方法不再赘述，重点说说它们的区别的使用时应该注意的地方。先说[]和test，两者是一样的，在命令行里test expr和[ expr ]的效果相同。test的三个基本...
python 管道 异步读取 stdout select_python中subprocess.PIPE上的非阻塞读取
weixin_39624774的博客
12-20 310
这种方法类似于^{}-based answer by @Bryan Ward——定义一个协议，一旦数据就绪，就调用它的方法：#!/usr/bin/env python3import asyncioimport osclass SubprocessProtocol(asyncio.SubprocessProtocol):def pipe_data_received(self, fd, data):i...
grep从多个文件中读取内容
最新发布
07-20
您可以使用`grep`命令从多个文件中读取内容。以下是使用`grep`命令的示例： ``` grep 'pattern' file1 file2 file3 ``` 在上面的命令中，'pattern'是您希望匹配的模式，而file1、file2和file3是要搜索的文件。您...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值