linux

---

管道相关命令

“|” 管道，放到一个小的内存里
cut
根据条件 从命令结果中提取对应的内容

-c ：按字符选取内容

-d ‘分隔符’ ：指定分隔符

-f n1,n2 ：分割以后显示第几段内容
head -2 1.txt | cut -d ‘:’ -f 1,2

**

sort
可针对文本文件的内容，以行为单位来排行

-u去掉重复的
[root@node01 tmp]# sort -u 2.txt

-n：按照数值大小排行

-r：使次序颠倒

-t：指定字段分隔符

-k：根据那一列排行

wc命令
显示指定文件 字节数，单词数，行数信息

-c：字节数

-w：单词数

-l：行数

uniq
uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令结合使用。
uniq [参数] 文件 去除重复行
去重：[root@hadoop01 export]# cat 5.txt | sort | uniq

-c：统计每行内容出现的次数：
[root@hadoop01 export]# cat 5.txt | sort | uniq -c

tee
通过tee可以将命令结果通过管道输出到多个文件中
将去重统计的结果 放到 a.txt、b.txt、c.txt 文件中
cat 5.txt | sort | uniq -c | tee a.txt b.txt c.txt

tr
通过tr命令用于替换或删除文件中的字符

把itheima的转换为大写
echo “itheima” |tr ‘[a-z]’ ‘[A-Z]’

命令结果 | tr -d 被删除的字符：删除指定字符
echo ‘abc1d4e5f’ | tr -d ‘[0-9]’

split
通过split命令将大文件切分成若干个小文件
有两种切分格式：

第一种：按字符将大文件切分成若干个小文件
split -b 10k 文件 将大文件切分成若干10KB的小文件
第二种：按行数将大文件切分成若干个小文件
split -l 1000 文件 将大文件切分成若干1000行 的小文件

awk
通过aw实现模糊查询，按需要提取字段还可以进行判断和简单的运算等。
模糊查询：awk ‘/zhangsan|lisi/’ 文件名.txt

指定分割：awk -F ‘,’ ‘{print $1,$2,$3}’ 文件名

-F ‘,’ 使用指定字符分割
$+数字 获取第几段内容
$0 获取当前行内容

OFS=“字符”：向外输出时的段分割字符串

toupper() 字符 转成 大写
tolower() 字符 转成小写
length() 返回 字符长度

sed
通过 sed 可以实现 过滤 和 替换 的功能.
p ：打印
$：代表最后一行
-n：仅显示处理后的结果
-e：根据表达式进行处理