linux怎么随机按行打散文件,如何使用Red Hat Linux上的标准工具随机化文件中的行？...

如何使用Red Hat Linux上的标准工具随机化文件中的行？

如何使用Red Hat Linux上的标准工具随机化文件中的行？

我没有shuf命令，所以我正在寻找像perl或awk一行完成相同任务的东西。

11个解决方案

192 votes

嗯，别忘了

sort --random-sort

Jim T answered 2019-08-23T11:45:35Z

102 votes

sort -R是最好的方法。

sort -R非常缓慢。 我只是尝试排序5GB文件。 我放弃了2.5小时后。 然后shuf在一分钟内排序。

Michal Illich answered 2019-08-23T11:46:08Z

61 votes

你得到一个Perl单线程！

perl -MList::Util -e 'print List::Util::shuffle <>'

它使用模块，但该模块是Perl代码分发的一部分。 如果这还不够好，你可以考虑自己动手。

我尝试使用-i标志(＆＃34;就地编辑＆＃34;)来编辑文件。 文档表明它应该工作，但它没有。 它仍然将混洗文件显示到stdout，但这次它会删除原始文件。 我建议你不要用它。

考虑一个shell脚本：

#!/bin/sh

if [[ $# -eq 0 ]]

then

echo "Usage: $0 [file ...]"

exit 1

fi

for i in "$@"

do

perl -MList::Util -e 'print List::Util::shuffle <>' $i > $i.new

if [[ `wc -c $i` -eq `wc -c $i.new` ]]

then

mv $i.new $i

else

echo "Error for file $i!"

fi

done

未经测试，但希望有效。

Chris Lutz answered 2019-08-23T11:45:10Z

21 votes

cat yourfile.txt | while IFS= read -r f; do printf "%05d %s\n" "$RANDOM" "$f"; done | sort -n | cut -c7-

读取文件，在每行前面加一个随机数，在这些随机前缀上对文件进行排序，然后剪切前缀。 单衬里应该适用于任何半现代的外壳。

编辑：纳入理查德汉森的言论。

ChristopheD answered 2019-08-23T11:46:41Z

9 votes

python的单线程：

python -c "import random, sys; lines = open(sys.argv[1]).readlines(); random.shuffle(lines); print ''.join(lines)," myFile

并且只打印一条随机线：

python -c "import random, sys; print random.choice(open(sys.argv[1]).readlines())," myFile

但是请看这篇文章，了解python random.shuffle()的缺点。它对许多(超过2080个)元素都不起作用。

scai answered 2019-08-23T11:47:11Z

5 votes

与Jim的回答有关：

我的-n包含以下内容：

unsort ()

{

LC_ALL=C sort -R "$@"

}

使用GNU coreutils排序，-n = while (<>) {...}，它生成每行的随机散列并按其排序。 随机哈希实际上不会在某些较旧(错误)版本的某些语言环境中使用，导致它返回正常的排序输出，这就是我设置BEGIN{undef$/}的原因。

与克里斯的回答有关：

perl -MList::Util=shuffle -e'print shuffle<>'

是一个稍短的单线。 (-n是while (<>) {...}的简写)

给它一个简单的-n的原因不适用于就地改组是因为Perl期望while (<>) {...}在同一个循环中发生文件被读取，并且BEGIN{undef$/}不会输出直到所有输入文件都有 已阅读并关闭。

作为一个较短的解决方法，

perl -MList::Util=shuffle -i -ne'BEGIN{undef$/}print shuffle split/^/m'

将就地文件洗牌。 (-n表示＆＃34;将代码包装在while (<>) {...}循环中; BEGIN{undef$/}使Perl一次运行文件而不是一次一行，并且需要split/^/m，因为$_=<>已隐式完成整个 文件而不是行。)

ephemient answered 2019-08-23T11:48:28Z

3 votes

当我用自制软件安装coreutils时

brew install coreutils

shuf成为n。

John McDonnell answered 2019-08-23T11:49:02Z

1 votes

带有DarwinPorts的Mac OS X：

sudo port install unsort

cat $file | unsort | ...

Coroos answered 2019-08-23T11:49:29Z

1 votes

FreeBSD有自己的随机工具：

cat $file | random | ...

它位于/ usr / games / random中，所以如果你还没有安装游戏，那你就不走运了。

您可以考虑安装textproc / rand或textproc / msort等端口。 如果可移植性是一个问题，这些可能在Linux和/或Mac OS X上可用。

Coroos answered 2019-08-23T11:50:12Z

-1 votes

在OSX上，从[http://ftp.gnu.org/gnu/coreutils/]获取最新信息

。/配置使sudo make install

...应该给你/ usr / local / bin / sort --random-sort

没有弄乱/ usr / bin / sort

Dan Brickley answered 2019-08-23T11:51:01Z

-1 votes

或者从MacPorts获取：

$ sudo port install coreutils

和/或

$ /opt/local//libexec/gnubin/sort --random-sort

Chadwick Boggs answered 2019-08-23T11:51:30Z