linux shuf 命令

shuf 命令

在算法训练过程中，训练集处理时都会把其打乱，之前的做法是写个脚本。今天发现可以使用 linux 命令—shuf 就能很高效得解决。

• 下载
  shuf 命令是 coreutils 包中的命令，所以需要下载，可以使用 yum 或者 brew 工具下载

  yum install coreutils
  or 
  brew install coreutils
  

• 配置
  如果你想要终端的任何路径下直接使用 shuf，还需要在bashrc文件配置下

  export     PATH="/usr/local/opt/coreutils/libexec/gnubin:$PATH"
  export     MANPATH="/usr/local/opt/coreutils/libexec/gnuman:$MANPATH"
  

• 示例
  
  如上图所示，使用shuf 11.csv -o 12.csv命令， 顺序已经打乱
  更多 shuf 命令使用，使用 shuf --help查看。
  另外，使用shuf 命令对180w行的数据文件执行乱序操作，时间差不多也就1s，效率很高。