grep 处理大文件太慢的方法

最新推荐文章于 2023-09-26 11:15:39 发布
最新推荐文章于 2023-09-26 11:15:39 发布
阅读量4.9k 收藏 5
点赞数 3
分类专栏： 学习 文章标签： grep linux 正则表达式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43725997/article/details/107665154
版权

grep 处理大文件太慢的方法

1.更换编码方式

LC_ALL=C  fgrep -m 1 "content" filename

命令解释：

  1. 默认文本都采用UTF-8所以比较慢，因此编码方式换成C语言环境(ascii)
  2. grep 带有正则，fgrep则为纯文本匹配，因此会比grep更快
  3. -m 1 只匹配一次，匹配到就终止匹配（根据自己需求调整）

2.并发方式

cat filename | parallel --pipe fgrep -m 1 "con"

命令解释：

  1. 使用parallel来并发fgrep进程（不加 -j 指定并发数的话，默认每个核分配一个）

参考：

  1. https://stackoverflow.com/questions/13913014/grepping-a-huge-file-80gb-any-way-to-speed-it-up

  2. https://www.inmotionhosting.com/support/website/speed-up-grep-searches-with-lc-all/

呕泡果奶
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux查找大文件指定内容的实现方法
01-20
以大划小思想，然后重定向。 linux有时候会遇到文件很大，关键字查找都要超过整屏，无法查看到所有内容。比如一个非常大的日志文件info.log，我们要查看某段字符所有日志，可以同 cat info.log | grep ‘1711178968′ ，如果显示过多，此时可以加时间，行数控制。也可以通过 ‘>>’指令。 cat info.log | grep ‘1711178968’   >> temp.log 将中间结果暂存下来，通过more ，less等工具一页页查看temp.log文件 如果是明确一定时间范围的日志还是可以根据时间截取日志： // 截取一定时段的日志 sed -n '/2
Linux下使用ext3grep恢复文件
08-15
Linux下使用ext3grep恢复文件，实现从磁盘恢复已删除的文件。
linux grep不区分大小写查找字符串方法
01-19
grep用来过滤字符串信息，grep默认对字母大小写敏感，不过可以通过选项对grep屏蔽大小写敏感，该选项为 -i。 一、查看grep工具版本方法 图1 grep版本查询 二、grep -i 使用方法 图2 grep不区分大小写 备注： grep使用方法： grep [选项] PATTERN 文件 grep -i “error” #忽略大小写区分 grep -v “grep” #忽略grep命令本身，在文档中过滤掉包含有grep字符的行 grep进程时忽略自身 我们在通过进程ID查找进程时，通过如下命令： ps -ef | grep 2112  来查找，但是这通常不能如愿： [roo
详解grep获取MySQL错误日志信息的方法
12-16
为方便维护MySQL，写了个脚本用以提供收集错误信息的接口。这些错误信息来自与MySQL错误日志，而 通过grep mysql可以获取error-log的路径。 以下是全部相关代码： #!/usr/bin/env python2.7 #-*- encoding: utf-8 -*- """ 该模块用于提取每天mysql日志中的异常或错误信息 author: xiaomo email: [email protected] """ import os import sys import string from datetime import * # 預設字符解碼器為utf-8 reload
kaliWEB渗透笔记
fhl5203的博客
11-01 5102
抓包协议分析 一般每300M分成一个包，这样抓包分析工具打开速度不会太慢。 首先剔除对分析没有用处的协议，剔除IP地址是224以上的组播地址。 WEB攻击面 Network、OS、WEB Server、App server、Web Application、Database、Browser 重要的header • Set-Cookie：服务器发给客户端的SessionlD (被窃取的风险） • Co...
android 大量代码中 grep 太慢,Python grep代码比命令行的grep慢得多
weixin_32480335的博客
05-27 455
Python作为一种解释语言，而不是编译的C版本的grep总是比较慢。在除此之外，您的Python实现与您的grep示例相同。它不返回匹配的行，它只是测试模式是否匹配任何一行上的字符。更进一步的比较是：grep -q 'approved="no"' FILE它将在找到匹配项后立即返回，并且不产生任何输出。在通过更有效地编写grep()函数，可以大大提高代码的速度：^{pr2}$这使用了io而不是{...
python grep pipe 直接读文件 效率_Linux grep大文件提速
weixin_34138014的博客
12-24 404
grep在utf8模式下的速度会很慢，这在grep小文件的时候没啥影响，但是grep大文件的时候就显得非常慢。解决grep大文件慢的方法就是不要设置为utf8模式。先用locale看一下目前的编码：LANG=en_US.UTF-8LC_CTYPE=”en_US.UTF-8″LC_NUMERIC=”en_US.UTF-8″LC_TIME=”en_US.UTF-8″LC_COLLATE=”en_US....
Linux - 命令alias grep “grep -r“引起的卡慢报错问题
IT架构师
08-16 1241
Linux - 命令alias grep "grep -r"引起的卡慢报错问题 问题描述 用户环境下有别名ml，实际命令是module load与其它包含grep的命令组成。 用户执行ml python会停住，过了很久报了一堆奇怪的报错，加载失败。 问题分析 由于现象是加载工具时卡住，需要找到卡在哪里。然后再分析为何报错。 用户先开好两个shell，称为shellA与shellB，shellA进程ID为pid_A。 在shellB中，执行strace -ttTffy -o /tmp/${USER}_stra
给grep提速
weixin_44284939的博客
09-26 172
最近在跟踪交易耗时时发现，使用grep是贼慢，一个交易耗时5s以上，十几万的交易跟踪得猴年马月。等后续采用更好的方案进一步提提速。
linux sed 慢,如何利用多核CPU来加速你的Linux命令 — awk, sed, bzip2, grep, wc等
weixin_29491259的博客
05-25 1223
你是否曾经有过要计算一个非常大的数据(几百GB)的需求？或在里面搜索，或其它操作——一些无法并行的操作。数据专家们，我是在对你们说。你可能有一个16核或更多核的CPU，但我们合适的工具，例如 grep, bzip2, wc, awk, sed等等，都是单线程的，只能使用一个CPU内核。但是“如何我能使用这些CPU核心”?要想让Linux命令使用所有的CPU核心，我们需要用到GNU Parallel...
python 查找文件内容性能 grep_python – 最快的方法来“grep”大文件
weixin_39549936的博客
12-11 1053
我有大型日志文件(从100MB到2GB),包含一个(单个)特定的行,我需要在Python程序中解析.我必须解析大约2万个文件.而且我知道所搜索的行是在文件的最后一行或最后15000个字节内.因为这是一个重复的任务,我需要它尽可能快.最快的方法是什么？我已经想到了4个策略：>在Python中读取整个文件并搜索正则表达式(method_1)>只读取文件的最后15,000个字节并搜索正则表达...
关于grep操作大文件的那些事
阅读之后，对你有帮助，那就点个赞再走吧
04-13 2159
一、前言 最近需要查询大日志文件的时候，每次打开vim，cat之类的都会卡死，但是需要查看符合条件的共有多少行数据，这可愁死我了，下面列出一些常用的匹配查询命令。 二、常用的搜索命令 1、grep搜索 grep 参数 文件名 | head //从头查找 grep 参数 文件名 | wc- l //查看符合条件的有多少行 ...
kali系列-kali linux 常见查找字符串命令grep 用法
qq_29437513的博客
05-06 1940
grep 命令参数 -v 需要在工作路径 默认指定工作路径 root@kali:~/Desktop/1# grep -v deleter * deleter* 12: 404 THE CONTECT IS REFUSE 12: PLEASE CHECK THE PROXY -r 可以带指定路径到最后面 返回文件名和字符行内容 root@kali:~# ...
在linux里如果日志文件过大，如何快速查询内容？
夜空繁星VV
04-18 5292
命令来查看日志文件的内容，并通过按键进行搜索、翻页和跳转等操作。3. 使用 zgrep 或 zless 命令：如果您的日志文件是经过 gzip 压缩的，可以使用 zgrep 或 zless。这些方法可以帮助您在 Linux 中快速查询大型日志文件的内容。根据您的需求和日志文件的特点，选择合适的方法以提高查询效率。2. 使用 less 命令：less 是一个功能强大的文件查看器，可以高效地浏览大型文件。您可以使用 less。然后，您可以使用 / 键输入要搜索的关键字，并按下 Enter 进行搜索。
Apache 2.4.x 局域网不能访问
weixin_43725997的博客
12-12 2132
在从apache2.2.x 升级到 2.4.x的时候出现了一些新特性和新问题。 在使用局域网访问的时候，总是无法找到。在网上找了很多资料，大多都是说http.conf 或者 vhosts-ini 这两个主要配置文件的，可是不论如何修改都还是无法解决。 最终，通过apache语法检查命令找出问题所在 在cmd里，切换到apache的bin目录下（配置了apache环境变量的不用） 输入 httpd...
ThinkPHP5 源码剖析(批量getShell原理)
weixin_43725997的博客
08-08 1300
前言： === 废话！！可跳过 === 近日，导师给了个不大不小的任务 导师之前面试我的时候，看我的简历上(chui)写(niu)着(pi)阅读过TP3源码并自己根据思想写了个PHP框架。 刚好公司有个之前外包出去的项目是用的TP框架，然后最近（好几个月了吧？？这么晚才来补洞的嘛(⊙_⊙)?）TP5不是爆出了批量getshell的漏洞吗？ 运维小哥那边反映老有人来攻击，让导师去和外包沟通，升级一下...
PHPStorm + Xdebug无法单步调试
weixin_43725997的博客
08-06 1055
前言： 好早之前，弄过一次Xdebug。 那个时候用的是sublime配合的xdebug。 结果各种踩坑，不兼容。毕竟xdebug对sublime的支持本来就不友好。 最近在追TP5的源码，var_dump、print_r用起来显然不够看，太繁琐，追起代码来效率太慢了。 然后今天在公司刚好有注册好的PHPStorm，只要在来个Xdebug就可以直接使用了。 不多说，开干。 运行环境： XAMP...
PHP编写豆瓣爬虫
weixin_43725997的博客
12-14 458
前言 最近正在忙一个比赛的项目，需要调用到豆瓣的图书API。通过图书的isbn的获取书籍的所有信息（https://api.douban.com/v2/book/isbn/ + 图书isbn） 但是想要做一个模拟真实环境的数据，需要大量的记录信息。然后查看当前的SQL语句是否能够跟得上正常速率。如果跟不上就进行数据库方面的调优。如：构建索引、分库分表、缓存、分布式、静态化技术（刚好最近也学到这方...
grep过滤文件大小
最新发布
11-09
据提供的引用内容，没有直接回答“grep过滤文件大小”的方法。但是可以通过引用[1]中的命令“du -sh {pg_wal,pg_xlog}”来查看指定目录下文件夹的大小，从而筛选出大小符合要求的文件。同时，引用中的命令“wc -l”可以用来统计输出信息的行数，从而得到文件的个数。结合这两个命令，可以通过筛选文件夹大小和文件个数来实现对文件大小的过滤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值