linux文本操作

1、取出test.csv文件的第2，3，4列，定向到新文件test_new.csv中(从1开始记第一列)：

awk -F',' '{print $2","$3","$4}' test.csv > test_new.csv 

2、取出test.csv文件中第三列的值为1.0的行，重定向到新文件test_sub中：

awk -F',' '$3==1.0{print $0}' test.csv > test_sub.csv

3.统计文件第3列中数据的类别数，以及每个类别的数量：

awk -F',' '{print $3}' test.csv | sort | uniq -c

4、拼接两个文件到新文件中：

cat test_sub1.csv test_sub2.csv > test_total.csv

5.文件每1000行分割为文件名为split_0*.csv的子文件：

split -l 1000 --numeric-suffixes==00 --additional-suffix=.csv test_total.csv ./split/split_

6、将文件中的数据按行打散，但每行内的数据顺序保持不变：

sudo awk 'BEGIN{ 100000*srand();}{ printf "%s %s\n", rand(), $0}' train.csv |sort -k1n | awk '{gsub($1FS,""); print $0}' > train_rand.csv

7、当awk文本操作需要在脚本中执行时：

import os

os.system('''awk -F',' '{{print $2","$3","$4}}' {0} > {1} '''.format(file_in, file_out ))
#⚠️原只有一对{}，在脚本中执行此命令时，在三引号的同时，变成2对{{}}