管道相关命令
“|” 管道,放到一个小的内存里
cut
根据条件 从命令结果中提取对应的内容
-c :按字符选取内容
-d ‘分隔符’ :指定分隔符
-f n1,n2 :分割以后显示第几段内容
head -2 1.txt | cut -d ‘:’ -f 1,2
**
sort
可针对文本文件的内容,以行为单位来排行
-u去掉重复的
[root@node01 tmp]# sort -u 2.txt
-n:按照数值大小排行
-r:使次序颠倒
-t:指定字段分隔符
-k:根据那一列排行
wc命令
显示指定文件 字节数,单词数,行数信息
-c:字节数
-w:单词数
-l:行数
uniq
uniq 命令用于检查及删除文本文件中重复出现的行,一般与 sort 命令结合使用。
uniq [参数] 文件 去除重复行
去重:[root@hadoop01 export]# cat 5.txt | sort | uniq
-c:统计每行内容出现的次数:
[root@hadoop01 export]# cat 5.txt | sort | uniq -c
tee
通过tee可以将命令结果通过管道输出到多个文件中
将去重统计的结果 放到 a.txt、b.txt、c.txt 文件中
cat 5.txt | sort | uniq -c | tee a.txt b.txt c.txt
tr
通过tr命令用于替换或删除文件中的字符
把itheima的转换为大写
echo “itheima” |tr ‘[a-z]’ ‘[A-Z]’
命令结果 | tr -d 被删除的字符:删除指定字符
echo ‘abc1d4e5f’ | tr -d ‘[0-9]’
split
通过split命令将大文件切分成若干个小文件
有两种切分格式:
第一种:按字符将大文件切分成若干个小文件
split -b 10k 文件 将大文件切分成若干10KB的小文件
第二种:按行数将大文件切分成若干个小文件
split -l 1000 文件 将大文件切分成若干1000行 的小文件
awk
通过aw实现模糊查询,按需要提取字段还可以进行判断和简单的运算等。
模糊查询:awk ‘/zhangsan|lisi/’ 文件名.txt
指定分割:awk -F ‘,’ ‘{print $1,$2,$3}’ 文件名
-F ‘,’ 使用指定字符分割
$+数字 获取第几段内容
$0 获取当前行内容
OFS=“字符”:向外输出时的段分割字符串
toupper() 字符 转成 大写
tolower() 字符 转成小写
length() 返回 字符长度
sed
通过 sed 可以实现 过滤 和 替换 的功能.
p :打印
$:代表最后一行
-n:仅显示处理后的结果
-e:根据表达式进行处理