一、快捷排序——sort命令
格式: sort [选项] 参数
常用选项
-n | 按照数字的大小进行排序 |
-r | 倒序排序(配合-n使用) |
-u | 相当于下面的那个命令uniq,去重复的行(只保留一行重复内容) |
-t | 指定字段的分隔符 |
-k | 指定排序的字段 |
-o<输出文件> | 另保存输出排序的结果(相当于重定向输出) |
-f | 忽略大小写,把小写字母也当作大写字母看待 |
-b | 忽略每行前面的空格 |
二、快捷去重——uniq命令
主要是用于去除连续的行
注意:是连续的行,所以通常和sort结合使用先排序使之变成连续的行再去掉相同的行,否则不连续的话不能执行去除重复的行
格式:uniq [选项] 参数
cat 文件| uniq 选项
常用选项
-c | 统计连续重复的行的次数,并且合并重复的行 |
-u | 显示仅出现一次的行(包括不连续的重复行) |
-d | 仅显示重复出现的行(必须是连续的重复行) |
三、快捷替换——tr命令
常用来对来自标准输入的字符进行替换,压缩,和删除
格式: cat 文件| tr [选项] 参数
常用选项
-c | 保留字符集1的字符,其他字符包括换行符\n用字符集2替换 |
-d | 删除所有属于字符集1的字符 |
-s | 将连续重复的字符串压缩成一个 |
-t | 字符集2 替换 字符集1,不加选项效果相同 |
windows脚本格式转换为Linux脚本格式
解决办法
yum install -y dos2unix
#使用格式
dos2unix 文件名
四、快速裁剪命令——cut 命令
格式一:cut [选项] 参数
格式二:cat file | cut [选项] 参数
常用选项
-b | 按字节截取 |
-c | 按字符截取,常用于中文 |
-d | 指定以分隔符截取,默认为制表符 |
-f | 字段进行截取。指定第n个字段;n-m表示从第n个字段到第m个字段;a,b,c表示第a、第b、第c个字段 |
–complement | 排除所指定的字段 |
–output-delimiter | 更改输出内容的分隔符 |
五、expr substr 截取方法
六、文件拆分——split命令
split命令用于在Linux下将大文件拆分为若干小文件。
格式:split 选项 参数 原始文件 拆分后文件名前缀
常用选项
-l | 指定行数 |
-b | 指定文件的大小 |
七、文件合并——paste命令
按照字段来进行文件的合并
格式:paste [选项] 文件1 文件2
-d | 用于指定文件的分隔符(默认情况下为制表符"\n") |
-s | 将列和行的内容进行互相交换 |
八、变量扫描器——eval命令
命令字前加上eval,shell会在执行命令之前扫描它两次,eval命令首先会先扫描命令行进行所有的置换,然后再执行命令,该命令适用于那些一次扫描无法实现功能的变量,该命令会对变量进行两次扫描。