linux相关数据处理

提取关键字所在行并打印： grep "关键字"  filename > res

删除关键字所在行 :  sed -i -e '/key/d' filename

提取指定列：awk '{print $1}' filename > res 

遍历目录下文件名然后进行操作:for f in `ls`; do echo $f; rm -rf $f/*.wav; done

删除当前目录下含关键字文件名的文件: find ./ -name "*key*" |xargs rm -rf

按顺序合并文件:for ((i=1;i<=10;i++))do echo trn$i;done | xargs -i cat {} >> test_ivector

合并文件 find ./ -name "*.list" | xargs sed 'a\' > all_list

find $PWD | xargs ls -d  提取目录下所有最底层文件路径

find data1 -type f -name "*.mp3" |xargs -i cp {} data11/  复制目录下最底层指定文件名到另一个目录

批量修改文件名:  把echo改mv就o

for name in `ls *.html`;do echo $name ${name%.html}.jpg;done

linux下文本格式编码问题。--locale--export LC_ALL=en_US.utf8

 

 sox -V a.wav  -n  查看音频信息

hexdump -C a.wav | head 查看音频头部字节

ffmpeg -i a.mp4 -f wav -ar 16000 -ac 1 a.wav 

并行处理：多线程压缩 

tar --use-compress-program=pigz -cpvf packages.tgz packages

多线程解压 

tar --use-compress-program=pigz -xvf packages.tgz

脚本并行化

https://medium.com/@mjschillawski/quick-and-easy-parallelization-in-python-32cb9027e490