文件处理工具（grep cut sort uniq tee paste tr)--（shell脚本01）

在shell中使用一些小工具会使shell更加的灵活

1. grep（三剑客命令之一）

1.1 grep命令参数详解

    -i: 不区分大小写
    -v: 查找不包含指定内容的行,反向选择
    -w: 按单词搜索
    -o: 打印匹配关键字
    -c: 统计匹配到的次数
    -n: 显示行号
    -r: 逐层遍历目录查找
    -A: 显示匹配行及后面多少行	
    -B: 显示匹配行及前面多少行
    -C: 显示匹配行前后多少行
    -l：只列出匹配的文件名
    -L：列出不匹配的文件名
    -e: 使用正则匹配
    -E:使用扩展正则匹配
    ^key:以关键字开头
    key$:以关键字结尾
    ^$:匹配空行
    --color=auto ：可以将找到的关键词部分加上颜色的显示

2. cut命令（用于列的截取）

2.1cut命令参数

cut用于列截取
-c:	以字符为单位进行分割。
-d:	自定义分隔符，默认为制表符。\t
-f:	与-d一起使用，指定显示哪个区域。

2.2 示例：

1.以:号进行分割,截取第一列的内容

cut -d:  -f1  1.txt

cut -d: -f1,6,7 1.txt 	以:冒号分割，截取第1,6,7列内容
cut -c4 1.txt 				截取文件中每行第4个字符
cut -c1-4 1.txt 			截取文件中每行的1-4个字符
cut -c4-10 1.txt 			
cut -c5- 1.txt 				从第5个字符开始截取后面所有字符

3. sort(排序工具）

3.1命令参数

sort：将文件的每一行作为一个单位，从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。

-u ：去除重复行
-r ：降序排列，默认是升序
-o : 将排序结果输出到文件中  类似 重定向符号>
-n ：以数字排序，默认是按字符排序
-t ：分隔符
-k ：第N列
-b ：忽略前导空格。
-R ：随机排序，每次运行的结果均不同。

示例：

sort -n -t: -k3 1.txt 			按照用户的uid进行升序排列
sort -nr -t: -k3 1.txt 			按照用户的uid进行降序排列
sort -n 2.txt 						按照数字排序
sort -nu 2.txt 						按照数字排序并且去重
sort -nr 2.txt 
sort -nru 2.txt 
sort -nru 2.txt 
sort -n 2.txt -o 3.txt 		按照数字排序并将结果重定向到文件
sort -R 2.txt 
sort -u 2.txt 

4. uniq(去除重复）

4.1 命令参数

uniq：去除连续重复行
-i: 忽略大小写
-c: 统计重复行次数
-d:只显示重复行

示例

uniq 2.txt 
uniq -d 2.txt 
uniq -dc 2.txt 

5. tee工具

5.1 命令参数

tee工具从标准输入读取并写入标准输出和文件，即：双向覆盖重定向<屏幕输出|文本输入>
-a 双向追加重定向

示例：

echo hello world
echo hello world|tee file1
cat file1 
echo 999|tee -a file1
cat file1 

6. paste (合并文件行)

6.1 命令参数

paste工具用于合并文件行

-d：自定义间隔符，默认是tab
-s：串行处理，非并行

示例：

paste -d'@' b.txt a.txt 
paste -s b.txt a.txt 

7. tr（字符的转换删除）

7.1 命令参数

tr用来从标准输入中通过替换或删除操作进行字符转换；主要用于删除文件中控制字符或进行字符转换。
使用tr时要转换两个字符串：字符串1用于查询，字符串2用于处理各种转换

语法：
commands|tr  'string1'  'string2'
tr  'string1'  'string2' < filename

tr options 'string1' < filename

-d 删除字符串1中所有输入字符。
-s 删除所有重复出现字符序列，只保留第一个；即将重复出现字符串压缩为一个字符串。


a-z 任意小写
A-Z 任意大写
0-9 任意数字
[:alnum:]       all letters and digits		所有字母和数字
[:alpha:]       all letters						所有字母
[:blank:]       all horizontal whitespace	所有水平空白
[:cntrl:]       all control characters		所有控制字符
\b Ctrl-H  		退格符
\f Ctrl-L  		走行换页
\n Ctrl-J  		新行
\r Ctrl-M  		回车
\t Ctrl-I  		tab键
[:digit:]    all digits	所有数字
[:graph:]    all printable characters, not including space
所有可打印的字符，不包含空格
[:lower:]       all lower case letters		所有小写字母
[:print:]       all printable characters, including space
所有可打印的字符，包含空格
[:punct:]       all punctuation characters			所有的标点符号
[:space:]       all horizontal or vertical whitespace	所有水平或垂直的空格
[:upper:]       all upper case letters				所有大写字母
[:xdigit:]      all hexadecimal digits				所有十六进制数字
[=CHAR=]        all characters which are equivalent to CHAR	所有字符

示例

tr -d '[:/]' < 3.txt 				删除文件中的:和/
cat 3.txt |tr -d '[:/]'			删除文件中的:和/
tr '[0-9]' '@' < 3.txt 			将文件中的数字替换为@符号
tr '[a-z]' '[A-Z]' < 3.txt 		将文件中的小写字母替换成大写字母
tr -s '[a-z]' < 3.txt 			匹配小写字母并将重复的压缩为一个
tr -s '[a-z0-9]' < 3.txt 		匹配小写字母和数字并将重复的压缩为一个
tr -d '[:digit:]' < 3.txt 		删除文件中的数字
tr -d '[:blank:]' < 3.txt 		删除水平空白
tr -d '[:space:]' < 3.txt 		删除所有水平和垂直空白