Shell脚本cut，sort，uniq,tr工具用法及Here Document和Expect用法

一，cht , sort, uniq, tr 工具的用法

1. cut：列截取工具；
   选项

-b, --bytes=LIST 选择指定数目LIST的字节

-c, --characters=LIST 选择指定数目LIST的字符

-d, --delimiter=DELIM 使用DELIM作为内容的分隔符，而不是使用默认的制表符(tab)作为分隔符

-f, --fields=LIST 选择LIST指定的LIST部分内容，输出选中的内容，并且如果字符没有包含分隔符，
则也同样输出，除非指定了-s选项
  

2.sort 工具
工作原理；sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。

-u 去除重复行

-r sort默认的排序方式是升序，如果想改成降序，就加个-r就搞定了

-n 以数值方式排序

-k 默认是第一列，-k可以指定排序的列

-t 默认分隔符是空白符，-t可以指定分隔符

      sort -n -k 2 a.out  对a.out文件中的第二列内容以数值方式排序，默认分隔符是空白符(\t\r_);

-f会将小写字母都转换为大写字母来进行比较，亦即忽略大小写

-b会忽略每一行前面的所有空白部分，从第一个可见字符开始比较

3.uniq 工具
uniq命令用于报告或忽略文件中的重复行，一般与sort命令结合使用。

语法

-c或——count：在每列旁边显示该行重复出现的次数；

-d或--repeated：仅显示重复出现的行列；

-f<栏位>或--skip-fields=<栏位>：忽略比较指定的栏位；

-s<字符位置>或--skip-chars=<字符位置>：忽略比较指定的字符；

-u或——unique：仅显示出一次的行列；

-w<字符位置>或--check-chars=<字符位置>：指定要比较的字符。

案例

sort uniq.test |uniq –d 
 
this is upiq test line 1
 
this is upiq test line 2
 
this is upiq test line 3

4.tr工具
tr命令可以对来自标准输入的字符进行替换、压缩和删除。它可以将一组字符变成另一组字符，经常用来编写优美的单行命令，作用很强大。
语法：tr 选项 SET1 SET2

-c或——complerment：取代所有不属于第一字符集的字符（就是补集）；

-d或——delete：删除所有属于第一字符集的字符；

-s或--squeeze-repeats：把连续重复的字符以单独一个字符表示；

-t或--truncate-set1：先删除第一字符集较第二字符集多出的字符。

案例
处理字符串“xt.,l 1jr#!$mn2 c*/fe3 uz4”，只保留其中的数字和空格

echo "xt.,l 1 jr#all.logmn2 
c*/fe3 uz4" | tr -c -d[[:digit:]][[:space:]]
 
 1 2 3 4

二，Here Document和Expect用法
1.Here Document概述
什么是Here Documen：
Here Document 是在Linux Shell 中的一种特殊的重定向方式，它的基本的形式如下

cmd << delimiter
  Here Document Content
delimiter

它的作用就是将两个 delimiter 之间的内容(Here Document Content 部分) 传递给cmd 作为输入参数。

比如在终端中输入cat << EOF ，系统会提示继续进行输入，输入多行信息再输入EOF，中间输入的信息将会显示在屏幕上。如下：

fish@mangos:~$ cat << EOF
> First Line
> Second Line
> Third Line EOF
> EOF
First Line
Second Line
Third Line EOF

注： >这个符号是终端产生的提示输入信息的标识符

这里要注意几点

EOF 只是一个标识而已，可以替换成任意的合法字符
作为结尾的delimiter一定要顶格写，前面不能有任何字符
作为结尾的delimiter后面也不能有任何的字符（包括空格）
作为起始的delimiter前后的空格会被省略掉
Here Document 不仅可以在终端上使用，在shell 文件中也可以使用，例如下面的here.sh 文件cat << EOF > output.sh

echo "hello"
echo "world"
EOF

使用 sh here.sh 运行这个脚本文件，会得到output.sh 这个新文件，里面的内容如下

echo "hello"
echo "world"

Here Document的变形
delimiter 与变量 在Here Document 的内容中，不仅可以包括普通的字符，还可以在里面使用变量，例如将上面的here.sh 改为

cat << EOF > output.sh
echo "This is output"
echo $1
EOF

使用sh here.sh HereDocument 运行脚本得到output.sh的内容

echo "This is output"
echo HereDocument

在这里 $1 被展开成为了脚本的参数 HereDocument

但是有时候不想展开这个变量怎么办呢，可以通过在起始的 delimiter的前后添加 " 来实现，例如将上面的here.sh 改为

cat << "EOF" > output.sh  #注意引号
echo "hello"
echo "world"
EOF

得到的output.sh 的内容为

echo "This is output"
echo $1

2…Expect
expect是一个自动化交互套件，主要应用于执行命令和程序时，系统以交互形式要求输入指定字符串，实现交互通信。

expect自动交互流程：

spawn启动指定进程---expect获取指定关键字---send向指定程序发送指定字符---执行完成退出.

注意该脚本能够执行的前提是安装了expect

yum install -y expect

expect常用命令

复制代码

spawn               交互程序开始后面跟命令或者指定程序
expect              获取匹配信息匹配成功则执行expect后面的程序动作
send exp_send       用于发送指定的字符串信息
exp_continue        在expect中多次匹配就需要用到
send_user           用来打印输出 相当于shell中的echo
exit                退出expect脚本
eof                 expect执行结束 退出
set                 定义变量
puts                输出变量
set timeout         设置超时时间

案例：

1.ssh登录远程主机执行命令,执行方法 expect 1.sh 或者 ./1.sh

 vim 1.sh 

#!/usr/bin/expect

spawn ssh saneri@192.168.56.103 df -Th
expect "*password"
send "123456\n"
expect eof

2. ssh远程登录主机执行命令，在shell脚本中执行expect命令,执行方法sh 2.sh、bash 2.sh 或./2.sh都可以执行.

#!/bin/bash

passwd='123456'

/usr/bin/expect <<-EOF

set time 30
spawn ssh saneri@192.168.56.103 df -Th
expect {
"*yes/no" { send "yes\r"; exp_continue }
"*password:" { send "$passwd\r" }
}
expect eof
EOF

3.expect执行多条命令

#!/usr/bin/expect -f

set timeout 10

spawn sudo su - root
expect "*password*"
send "123456\r"
expect "#*"
send "ls\r"
expect "#*"
send "df -Th\r"
send "exit\r"
expect eof

4. 创建ssh key，将id_rsa和id_rsa.pub文件分发到各台主机上面。

1.创建主机配置文件
[root@localhost script]# cat host 
192.168.1.10 root 123456
192.168.1.20 root 123456
192.168.1.30 root 123456

[root@localhost script]# ls
copykey.sh  hosts
2.编写copykey.sh脚本,自动生成密钥并分发key.
[root@localhost script]# vim copykey.sh

#!/bin/bash

# 判断id_rsa密钥文件是否存在
if [ ! -f ~/.ssh/id_rsa ];then
 ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
else
 echo "id_rsa has created ..."
fi

#分发到各个节点,这里分发到host文件中的主机中.
while read line
  do
    user=`echo $line | cut -d " " -f 2`
    ip=`echo $line | cut -d " " -f 1`
    passwd=`echo $line | cut -d " " -f 3`
    
    expect <<EOF
      set timeout 10
      spawn ssh-copy-id $user@$ip
      expect {
        "yes/no" { send "yes\n";exp_continue }
        "password" { send "$passwd\n" }
      }
     expect "password" { send "$passwd\n" }
EOF
  done <  hosts

5. shell调用expect执行多行命令.

 #!/bin/bash 
ip=$1  
user=$2 
password=$3 

expect <<EOF  
    set timeout 10 
    spawn ssh $user@$ip 
    expect { 
        "yes/no" { send "yes\n";exp_continue } 
        "password" { send "$password\n" }
    } 
    expect "]#" { send "useradd hehe\n" } 
    expect "]#" { send "touch /tmp/test.txt\n" } 
    expect "]#" { send "exit\n" } expect eof 
 EOF  
 #./ssh5.sh 192.168.1.10 root 123456 

6.使用普通用户登录远程主机，并通过sudo到root权限，通过for循环批量在远程主机执行命令.

 $ cat timeout_login.txt 
10.0.1.8
10.0.1.34
10.0.1.88
10.0.1.76
10.0.1.2
10.0.1.3

#!/bin/bash

for i in `cat /home/admin/timeout_login.txt`
do

    /usr/bin/expect << EOF
    spawn /usr/bin/ssh -t -p 22022 admin@$i "sudo su -"

    expect {
        "yes/no" { send "yes\r" }
    }   

    expect {
        "password:" { send "xxo1#qaz\r" }
    }
    
    expect {
        "*password*:" { send "xx1#qaz\r" }
    }

    expect "*]#"
    send "df -Th\r"
    expect "*]#"
    send "exit\r"
    expect eof

EOF
done

密码过期需要批量修改密码

#!/bin/bash

for i in `cat /root/soft/ip.txt`
do

    /usr/bin/expect << EOF
    spawn /usr/bin/ssh root@$i

    expect {
        "UNIX password" { send "Huawei@123\r" }
    }
    
    expect {
        "New password:" { send "xxHuzzawexxi@1234#\r" }
    }

   expect {
        "Retype new password:" { send "xxHuzzawexxi@1234#\r" }
    }

    expect "*]#"
    send "echo Huawei@123|passwd --stdin root\r"
    expect "*]#"
    send "exit\r"
    expect eof
EOF
done