MyySophia的博客

GNU parallel 是一个 shell 工具，用于使用一台或多台计算机并行执行作业。作业可以是单个命令或必须为输入中的每一行运行的小脚本。典型的输入是文件列表、主机列表、用户列表、URL 列表或表列表。作业也可以是从管道读取的命令。GNU parallel 然后可以拆分输入并将其通过管道并行传输到命令中。在 shell 中编写循环，你会发现 GNU parallel 可以取代大部分循环，并通过并行运行多个作业来使它们运行得更快。对于每一行输入，GNU parallel 将以该行作为参数执行命令。

如果两个日志文件中的指定key的value相等则为true，否则为false。测试的log大概100行，而正式区的log大约在100W行左右，甚至更多。当在正式区单个日志大概158W， 也就是300 W 的级别文本比较。第3个参数是变量的indexList(你理解为一个关键字就可以)这时候如果你的机器是多个核心，就可以充分利用并发处理来加快速度。1、在A、B两个AP的log中筛出某个关键字，将比较结果输出。20个thread的情况下大致是10倍的速度提升.以下测试是 并发20的case。