简单文本处理工具

抽取文本的工具
文件内容：less和cat

tr命令
tr转换和删除字符
选项：
tr -c取字符集的补集，删除字符中的
tr -d删除所有属于第一字符集的字符
tr -s把连续的字符以单独一个字符表示
tr -t把连续重复的字符以单独的一个字符表示
tr --help
tr -dc 'abc' 输入faljfaljfalabc123
将操作系统版本中每个单词显示在独立的一行，无空格
cat /etc/centos-release|tr -cs "[[:alpha:]]" "\n"

文本查看工具：
cat -n 文本文件，加行号，空行也加
cat -ns 文本文件，加行号，压缩空行仅留一个
cat -A 文本文件，显示换行
cat -b 文本文件，加行号，空行不加
tac 文本文件，竖向反向显示文本
rev 文本文件，横向镜像显示
more 文本文件，分页显示
less 文本文件，分页显示
head 文本文件，显示文件的头，默认前十行，head -n 3 文本文件
文本文件 |head -n
tail 显示后几行，tail -n 3 文本文件
tail -f /data/f2.log可以跟踪显示文本文件变化，只能跟踪文件内容
tailf类似于tail -f，当文件不增长时并不访问文件
tail -F /data/f2.log,可以跟踪文件名及内容
查看日志用的多
echo abcd |head -c3显示前3个字符

统计光盘rpm软件类型个数：ls|rev|cut -d. -f2|rev|sort|uniq -c

※openssl rand -base64 100 |tr -dc '[:alnum:]' |head -c 12

按列抽取文本cut和合并文件paste
cut
cut -d: -f 1,3 /etc/passwd
cut -d: -f 1,3 --output-delimiter='===' /etc/passwd,更换输出的分隔符
who |cut -c1-9
df |cut -c44-47
df |tr -s " " |cut -d" " -f 5
df |tr -s ' ' '%'|cut -d'%' -f5

Centos 6
关闭防火墙：service iptables stop
关闭防火墙下次开机不启动：chkconfig iptables off

Centos 7
systemctl stop firewalld关闭防火墙
systemctl disable firewalld下次开机不启动防火墙
显示简单的网页echo '<h1>Welcome to Magedu</h1>' > /var/www/html/index.html
查看网页浏览日志：ll /var/log/httpd/access_log
cut -d" " -f1 /var/log/httpd/access_log|sort|wc -l总共访问量
cut -d" " -f1 /var/log/httpd/access_log|sort -u |wc -l总共访问的ip列表

取出df中使用率最高的
df |tr -s " " |cut -d' ' -f5|cut -d% -f1|tail -n5|sort -nr|head -n1
或者df |tr -s " " %|cut -d% -f5|sort -nr|head -n1

paste合并两个文件同行号的列到一行
paste f1 f2，如果放到一列，cat f1 f2
paste -s 横向显示
paste -d"==" f1 f2
sort -R随机排序
※seq 102 |sort -R |head -n1随机抽奖seq 33 |sort -R |tail -n6

文本分析工具wc
wc f1:显示总共几行，几个单词，几个字节，文件名字
wc -l统计多少行
wc- w统计多少单词
wc -m统计字节数
wc -L显示最长的行
cat /var/log/httpd/access_log |wc -l显示网站访问量
who |wc -l显示终端登陆个数
pv page view统计网站访问量

文本排序sort
sort -t: -k1 /etc/passwd
sort -t: -k3 -n /etc/passwd数字大小排序
sort -t: -k3 -nr /etc/passwd数字大小倒序
sort -u可以删除重复的

cut -d":" -f 1,3 /etc/passwd|tr ':' "="|sort -t= -k2 -nr取用户名和uid按倒序排列

uniq
uniq命令，从输入中删除前后相连的重复行
uniq -c显示合并重复行数
uniq -u显示不连续重复的行
uniq -d仅显示重复的行
cut -d" " -f1 /var/log/httpd/access_log |uniq -c
cut -d' ' -f1 /var/log/httpd/access_log |sort|uniq -c|sort -nr|head -n3显示网站浏览前三的ip

diff比较文件的不同
diff 文件名1 文件名2
diff -u 显示其他不同的信息
netstat -nt

统计行数：awk 'END{print NR}' access.log

文本三剑客
grep
sed
awk