linux数据处理命令的一些整理

2019独角兽企业重金招聘Python工程师标准>>>

1. 合并文件cat a.dat b.dat > c.dat

2. 文件截取数据并重定向  cut  -c  11-20 a.txt>>b.txt

3. 文件排序并去重  

   sort file |uniq

   注意：重复的多行记为一行，也就是说这些重复的行还在，只是全部省略为一行！
   sort file |uniq -u
   上面的命令可以把重复的行全部去掉，也就是文件中的非重复行！
   

4. 比较两个数据文件差异

       存在1.txt，不存在2.txt的内容
   

   　　comm -23 <(sort 1.txt) <(sort 2.txt)

   　　存在2.txt，不存在1.txt的内容

   　　comm -13 <(sort 1.txt) <(sort 2.txt)

   　　存在1.txt，也存在2.txt的内容

   　　comm -12 <(sort 1.txt) <(sort 2.txt)

   　　什么也不显示

   　　comm -123 <(sort 1.txt) <(sort 2.txt)

转载于:https://my.oschina.net/u/1184659/blog/191490