linux 打开大文本,文本编辑器打开大(巨大,巨大,大)文本文件

Roboprog..

187

技巧和窍门

减

你为什么要使用编辑器来查看(大)文件？

在*nix或Cygwin下,只需使用less.(有一句名言 - "少即是多,少或多少" - 因为"less"取代了早期的Unix命令"more",另外还可以向上滚动.)搜索和导航少于非常类似于Vim,但是没有使用交换文件和少量RAM.

有一个GNU的Win32端口少.请参阅上面答案的"更少"部分.

Perl的

Perl适用于快速脚本,它的..(范围触发器)运算符提供了一个很好的选择机制来限制你必须涉及的问题.

例如:

$ perl -n -e 'print if ( 1000000 .. 2000000)' humongo.txt | less

这将提取从100万行到200万行的所有内容,并允许您手动筛选输出更少.

另一个例子:

$ perl -n -e 'print if ( /regex one/ .. /regex two/)' humongo.txt | less

当"正则表达式1"找到某些内容时,这将开始打印,当"正则表达式2"找到有趣块的末尾时停止打印.它可能会找到多个块.筛选输出......

LOGPARSER

这是您可以使用的另一个有用的工具.引用维基百科的文章:

logparser是一个灵活的命令行实用程序,最初由Microsoft员工Gabriele Giuseppini编写,用于自动化IIS日志记录的测试.它旨在与Windows操作系统一起使用,并包含在IIS 6.0 Resource Kit Tools中.logparser的默认行为类似于"数据处理管道",通过在命令行上获取SQL表达式,并输出包含SQL表达式匹配项的行.

Microsoft将Logparser描述为一个功能强大的多功能工具,它提供对基于文本的数据(如日志文件,XML文件和CSV文件)的通用查询访问,以及Windows操作系统上的关键数据源,如事件日志,注册表,文件系统和Active Directory.输入查询的结果可以在基于文本的输出中自定义格式化,也可以持久保存到更多专业目标,如SQL,SYSLOG或图表.

用法示例:

C:\>logparser.exe -i:textline -o:tsv "select Index, Text from 'c:\path\to\file.log' where line > 1000 and line < 2000"

C:\>logparser.exe -i:textline -o:tsv "select Index, Text from 'c:\path\to\file.log' where line like '%pattern%'"

尺寸的相对性

100 MB不是太大.3 GB变得有点大.我曾经在一家印刷和邮件工厂工作,创造了约2%的美国头等邮件.我作为技术主管的系统之一约占邮件的15%以上.我们有一些大文件可以在这里和那里进行调试.

和更多...

您可以在此处添加更多工具和信息.这个答案是社区wiki的原因!我们都需要更多关于处理大量数据的建议......

你不需要cygwin,你也可以在windows下使用它:http://gnuwin32.sourceforge.net/packages/less.htm (8认同)

好的,我只是解决了自己的问题.用字包裹的`less`很慢.没有自动换行的`less -S`即使在大线上也是闪电般快速的.我又开心了! (8认同)

+1,我最近有一些非常庞大的xml文件(+1千兆字节),我需要看一下.我在Windows上,vim,emacs,notepad ++和其他几个编辑器在文件上完全被呛到了我的系统在尝试打开文件时几乎无法使用的程度.过了一会儿,我意识到实际尝试在-editor中打开文件是多么不必要 - 当我只需要查看它时.使用cygwin(以及一些聪明的grep/less/sed-magic)我很容易找到我感兴趣的部分并且可以毫不费力地阅读它. (7认同)

很好的答案.我想要注意的是,如果你安装了Git for Windows,你可能也有Git bash,其中包括`less`. (6认同)

这里的[XML编辑器](http://www.xml-tools.com)也有一个大文件查看器组件,并且还为大文件提供语法着色.文件未完全加载到内存中,因此多GB文档应该不是问题.此外,该工具还可以验证那些大型XML文档......在我看来,这是处理大量XML数据的最佳方法之一. (2认同)