跟散仙学shell编程(五)

上一篇写的是处理用户输入，本篇散仙要写的是linux里面的标准输入，输出，以及文件描述符的使用。


linux系统将每个对象当做文件来处理，这包括输入和输出的过程，linux用文件描述符来标识每个文件对象，文件描述符是一个非负整数，可以唯一的的标识会话中打开的文件，每个过程最多可以有9个文件描述符，linux系统默认占用了0，1，2三个文件描述符

[table]
|序号|文件描述符符号|缩写|描述
|1|0|STDIN|标准输入
|2|1|STDOUT|标准输出
|3|2|STDERR|标准错误
[/table]

我们使用2<文件名，将一个错误的消息重定向到一个文件中，而不再屏幕上显示

[search@h1 a813]$ ll -al bbb > t2
ls: 无法访问bbb: 没有那个文件或目录
[search@h1 a813]$ ll -al bbb 2> t3
[search@h1 a813]$ ll
总用量 8
-rw-rw-r-- 1 search search  9 8月  14 03:56 abc.txt
-rw-rw-r-- 1 search search  0 8月  14 03:59 t2
-rw-rw-r-- 1 search search 49 8月  14 03:59 t3
[search@h1 a813]$ more t3 
ls: 无法访问bbb: 没有那个文件或目录
[search@h1 a813]$ 

同样我们可以正确的消息重定向到一个文本里，把错误的消息重定向到另外一个文件里，这样就很分明了，不用我们去一大堆的log里面查找错误信息了。

[search@h1 a813]$ ll
总用量 12
-rw-rw-r-- 1 search search  9 8月  14 03:56 abc.txt
-rw-rw-r-- 1 search search  0 8月  14 04:04 error.txt
-rw-rw-r-- 1 search search 52 8月  14 04:04 ok.txt
-rw-rw-r-- 1 search search  0 8月  14 03:59 t2
-rw-rw-r-- 1 search search 49 8月  14 03:59 t3
[search@h1 a813]$ rm -rf error.txt 
[search@h1 a813]$ rm -rf ok.txt 
[search@h1 a813]$ ls -al abc.txt  bb 2> error.txt 1> ok.txt
[search@h1 a813]$ ll
总用量 16
-rw-rw-r-- 1 search search  9 8月  14 03:56 abc.txt
-rw-rw-r-- 1 search search 48 8月  14 04:06 error.txt
-rw-rw-r-- 1 search search 52 8月  14 04:06 ok.txt
-rw-rw-r-- 1 search search  0 8月  14 03:59 t2
-rw-rw-r-- 1 search search 49 8月  14 03:59 t3
[search@h1 a813]$ more ok.txt 
-rw-rw-r-- 1 search search 9 8月  14 03:56 abc.txt
[search@h1 a813]$ more error.txt 
ls: 无法访问bb: 没有那个文件或目录
[search@h1 a813]$ 

注意重定向的写法2> 文本， 中间有个空格
正确输出和错误输出都重定向到一个文件里，命令如下：

[search@h1 a813]$ ls -al abc.txt  cc &> test2
[search@h1 a813]$ ll
总用量 20
-rw-rw-r-- 1 search search   9 8月  14 03:56 abc.txt
-rw-rw-r-- 1 search search  48 8月  14 04:06 error.txt
-rw-rw-r-- 1 search search  52 8月  14 04:06 ok.txt
-rw-rw-r-- 1 search search   0 8月  14 03:59 t2
-rw-rw-r-- 1 search search  49 8月  14 03:59 t3
-rw-rw-r-- 1 search search 100 8月  14 04:09 test2
[search@h1 a813]$ more test2 
ls: 无法访问cc: 没有那个文件或目录
-rw-rw-r-- 1 search search 9 8月  14 03:56 abc.txt
[search@h1 a813]$ 

下面演示临时重定向的用法：

[search@h1 a813]$ more b.sh 

#强制此句变成一个错误的输出
echo "this is a error" >&2

echo "this is a normal output"
[search@h1 a813]$ sh b.sh  2> e2.txt
this is a normal output
[search@h1 a813]$ more e2.txt 
this is a error
[search@h1 a813]$ 

临时重定向只对单个消息管用，如果脚本里有大量的数据需要重定向，那么就需要使用永久重定向了，演示如下：

[search@h1 a813]$ cat a.sh 


exec 1>out

echo "11我输出的会被重定向在out里面"
echo "1我输出的会被重定向在out里面"
echo "111我输出的会被重定向在out里面"
[search@h1 a813]$ sh a.sh 
[search@h1 a813]$ cat out 
11我输出的会被重定向在out里面
1我输出的会被重定向在out里面
111我输出的会被重定向在out里面
[search@h1 a813]$ echo "haha"
haha
[search@h1 a813]$ more out 
11我输出的会被重定向在out里面
1我输出的会被重定向在out里面
111我输出的会被重定向在out里面
[search@h1 a813]$ 

exec命令会启动一个新的shell，并将STDOUT文件描述符重定向到文件

[search@h1 a813]$ more c.sh 


exec 2>err
echo "a"
echo "aa"
echo "ab"


exec 1>pp

echo "bb"
echo "cc"  >&2


[search@h1 a813]$ sh c.sh 
a
aa
ab
[search@h1 a813]$ more pp
bb
[search@h1 a813]$ more err
cc
[search@h1 a813]$ 

下面我们看下，如何在脚本中重定向输入

[search@h1 a813]$ more testfile 
JAVA
SOLR
Lucene
Hadoop
Hive
[search@h1 a813]$ cat d.sh 


exec 0< testfile
count=1
while read line
do

echo "行号:$count: $line"

count=$[ $count + 1  ]


done
[search@h1 a813]$ sh d.sh 
行号:1: JAVA
行号:2: SOLR
行号:3: Lucene
行号:4: Hadoop
行号:5: Hive
[search@h1 a813]$ 

下面我们看下如何创建自己的文件描述符，还记得开头说的吗，linux默认有10个文件描述符，其中linux用了前3个（0,1,2），所以我们可以使用剩余的来自定义自己的描述符

[search@h1 a813]$ cat e.sh 


exec 3> test3out

echo "桌面显示1"
echo "桌面显示21"
echo "桌面显示12"


echo "到自定义的文件描述符里面" >&3

[search@h1 a813]$ sh e.sh 
桌面显示1
桌面显示21
桌面显示12
[search@h1 a813]$ cat test3out 
到自定义的文件描述符里面
[search@h1 a813]$ 

当然我们也可以追加进去exec 3>> testout文件

重定向文件描述符恢复：

[search@h1 a813]$ cat s.sh 


exec 3>&1

exec 1>out4


echo "a"

echo "b"


exec 1>&3


echo "c"
[search@h1 a813]$ sh s.sh 
c
[search@h1 a813]$ cat out4 
a
b

分析下上面的例子：
首先将文件描述符3重定向到1中，也就是标准的屏幕输出，但是第二行又把标准的屏幕输出重定向到一个文件里面了，所以打印的a，b会被直接写到文件中，最后的一行又把1标准输出重定向到3描述符里面，而3又是重定向到标准输出1里面，所以最后会打印在屏幕上。
这个重定向例子，可以用来恢复原来设置的文件描述符。


下面看下输入重定向：

[search@h1 a813]$ cat testfile 
JAVA
SOLR
Lucene
Hadoop
Hive
[search@h1 a813]$ sh g.sh 
1: JAVA
2: SOLR
3: Lucene
4: Hadoop
5: Hive
yes or no : y
you input yes
[search@h1 a813]$ sh g.sh 
1: JAVA
2: SOLR
3: Lucene
4: Hadoop
5: Hive
yes or no : n
you input no
[search@h1 a813]$ 

创建读写文件描述符：

[search@h1 a813]$ cat testfile 
JAVA
SOLR
Lucene
Hadoop
Hive
[search@h1 a813]$ sh rw.sh 
Read:  JAVA
[search@h1 a813]$ cat testfile 
JAVA
 this is a test line 
e
[search@h1 a813]$ 

读写文件描述符，容易造成文件指针混乱，所以不建议使用，
下面看下如何关闭一个文件描述符：

[search@h1 a813]$ sh w.sh 
w.sh: line 9: 3: 错误的文件描述符
[search@h1 a813]$ cat o1.txt 
good hah 
[search@h1 a813]$ cat w.sh 


exec 3> o1.txt
echo "good hah " >&3


exec 3>&-

echo "bad hah" >&3
[search@h1 a813]$ 

需要注意的两次先后打开一个文件描述符，后面的内容，会覆盖原来的：

[search@h1 a813]$ sh dd.sh 
第一次哈哈
[search@h1 a813]$ cat o2.txt 
第二次哈哈
[search@h1 a813]$ cat dd.sh 


exec 3>o2.txt


echo "第一次哈哈" >&3

cat o2.txt


exec 3>o2.txt

echo "第二次哈哈" >&3


[search@h1 a813]$ 

下面看下如何查看文件描述符的信息，如果执行lsof命令提示，没有这个命令，我们可以使用yum install lsof命令先安装一个，Debian可以执行：apt-get install lsof 安装。

lsof命令用法如下：

lsof  filename 显示打开指定文件的所有进程
lsof -a 表示两个参数都必须满足时才显示结果
lsof -c string   显示COMMAND列中包含指定字符的进程所有打开的文件

lsof -p 进程号         查看该进程打开了哪些文件
lsof -u username  显示所属user进程打开的文件
lsof -g gid 显示归属gid的进程情况
lsof +d /DIR/ 显示目录下被进程打开的文件
lsof +D /DIR/ 同上，但是会搜索目录下的所有目录，时间相对较长
lsof -d FD 显示指定文件描述符的进程
lsof -n 不将IP转换为hostname，缺省是不加上-n参数
lsof -i 用以显示符合条件的进程情况
lsof -i[46] [protocol][@hostname|hostaddr][:service|port]
46 –> IPv4 or IPv6
protocol –> TCP or UDP
hostname –> Internet host name
hostaddr –> IPv4地址
service –> /etc/service中的 service name (可以不只一个)
port –> 端口号 (可以不只一个)

列名的说明：

每行显示一个打开的文件，若不指定条件默认将显示所有进程打开的所有文件。lsof输出各列信息的意义如下：

COMMAND：进程的名称
PID：进程标识符
USER：进程所有者
FD：文件描述符，应用程序通过文件描述符识别该文件。如cwd、txt等
TYPE：文件类型，如DIR、REG等
DEVICE：指定磁盘的名称
SIZE：文件的大小
NODE：索引节点（文件在磁盘上的标识）
NAME：打开文件的确切名称

默认执行会产生大量输出，一般我们需要过滤，最常用的命令有-p 和 -d，前者允许指定PID,后者允许要显示的文件描述符的个数，也可以使用特殊的编辑变量$$,shel会把它设为当前的pid:
[code="java"]# lsof -a -p $$
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
bash 1487 root cwd DIR 253,0 4096 392508 /usr/sbin
bash 1487 root rtd DIR 253,0 4096 2 /
bash 1487 root txt REG 253,0 903336 14 /bin/bash
bash 1487 root mem REG 253,0 99154480 394480 /usr/lib/locale/locale-archive
bash 1487 root mem REG 253,0 65928 261665 /lib64/libnss_files-2.12.so
bash 1487 root mem REG 253,0 1921216 261649 /lib64/libc-2.12.so
bash 1487 root mem REG 253,0 19536 261655 /lib64/libdl-2.12.so
bash 1487 root mem REG 253,0 135896 261691 /lib64/libtinfo.so.5.7
bash 1487 root mem REG 253,0 154520 261642 /lib64/ld-2.12.so
bash 1487 root mem REG 253,0 26060 654464 /usr/lib64/gconv/gconv-modules.cache
bash 1487 root 0u CHR 136,0 0t0 3 /dev/pts/0
bash 1487 root 1u CHR 136,0 0t0 3 /dev/pts/0
bash 1487 root 2u CHR 136,0 0t0 3 /dev/pts/0
bash 1487 root 255u CHR 136,0 0t0 3 /dev/pts/0
# lsof -a -p $$ 0,1,2
lsof: status error on 0,1,2: No such file or directory
lsof 4.82
latest revision: ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/
latest FAQ: ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/FAQ
latest man page: ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/lsof_man
usage: [-?abhlnNoOPRtUvVX] [+|-c c] [+|-d s] [+D D] [+|-f[gG]] [+|-e s]
[-F [f]] [-g [s]] [-i [i]] [+|-L [l]] [+m [m]] [+|-M] [-o [o]] [-p s]
[+|-r [t]] [-s [p:s]] [-S [t]] [-T [t]] [-u s] [+|-w] [-x [fl]] [--] [names]
Use the ``-h'' option to get more help information.
# lsof -a -p $$ -d 0,1,2
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
bash 1487 root 0u CHR 136,0 0t0 3 /dev/pts/0
bash 1487 root 1u CHR 136,0 0t0 3 /dev/pts/0
bash 1487 root 2u CHR 136,0 0t0 3 /dev/pts/0
# lsof -a -p $$ -d 0,1,2,3
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
bash 1487 root 0u CHR 136,0 0t0 3 /dev/pts/0
bash 1487 root 1u CHR 136,0 0t0 3 /dev/pts/0
bash 1487 root 2u CHR 136,0 0t0 3 /dev/pts/0
#
[/code]


下面做个小测试，看我们自己定义的文件描述符：

[search@h1 a813]$ echo "a" >> o1
[search@h1 a813]$ echo "a" >> o2
[search@h1 a813]$ echo "a" >> o3
[search@h1 a813]$ cat v.sh 


exec 3> o1
exec 4> o2
exec 7< o3


lsof -a -p $$ 
[search@h1 a813]$ sh v.sh 
COMMAND  PID   USER   FD   TYPE DEVICE SIZE/OFF   NODE NAME
sh      1562 search  cwd    DIR  253,0     4096 274764 /home/search/a813
sh      1562 search  rtd    DIR  253,0     4096      2 /
sh      1562 search  txt    REG  253,0   903336     14 /bin/bash
sh      1562 search  mem    REG  253,0 99154480 394480 /usr/lib/locale/locale-archive
sh      1562 search  mem    REG  253,0  1921216 261649 /lib64/libc-2.12.so
sh      1562 search  mem    REG  253,0    19536 261655 /lib64/libdl-2.12.so
sh      1562 search  mem    REG  253,0   135896 261691 /lib64/libtinfo.so.5.7
sh      1562 search  mem    REG  253,0   154520 261642 /lib64/ld-2.12.so
sh      1562 search  mem    REG  253,0    26060 654464 /usr/lib64/gconv/gconv-modules.cache
sh      1562 search    0u   CHR  136,0      0t0      3 /dev/pts/0
sh      1562 search    1u   CHR  136,0      0t0      3 /dev/pts/0
sh      1562 search    2u   CHR  136,0      0t0      3 /dev/pts/0
sh      1562 search    3w   REG  253,0        0 275196 /home/search/a813/o1
sh      1562 search    4w   REG  253,0        0 275198 /home/search/a813/o2
sh      1562 search    7r   REG  253,0        2 275201 /home/search/a813/o3
sh      1562 search  255r   REG  253,0       55 275199 /home/search/a813/v.sh
[search@h1 a813]$ 

如果不想看到任何的错误消息，我们可以将到重定向到一个空的设备中
ls -al > /dev/null

当然我们也可以利用cat /dev/null > tesfile 来清空一个文件


mktemp test.XXXXXX会创建一个唯一的文件，后面的六个X会被生成一个随机数，从而能创建一个临时文件：

[search@h1 a813]$ mktemp t.XXXXXX
t.xhqQbm
[search@h1 a813]$ ll t.*
-rw------- 1 search search 0 8月  14 05:27 t.cEjS56
-rw------- 1 search search 0 8月  14 05:24 t.GLcGV0
-rw------- 1 search search 0 8月  14 05:27 t.xhqQbm
[search@h1 a813]$ 

我们知道在linux的tmp目录下的临时文件，都会在系统退出启动后删除，我们可以使用mktemp -t t.XXXXXX来创建一个临时文件：

[search@h1 ~]$ mktemp -t t.XXXXXX
/tmp/t.36bSRP
[search@h1 ~]$ ls -al /tmp/t.36bSRP 
-rw------- 1 search search 0 8月  14 05:29 /tmp/t.36bSRP
[search@h1 ~]$ 

命令创建完毕后，会返回一个路径，这样我们就能引用这个文件了，而不用管它将临时文件放在了什么位置

mktemp -d dir.XXXXXX命令可以同-t一样，能创建一个临时目录，用来存储临时一些数据。

有时候我们想将一些文件，即在屏幕上显示，又能记录到文件里面，这时候我们不需要重定向2次，我们可以使用tee命令，tee命令是一个T字形的管道，它将STDIN读取过来的数据，同时发送到2个目的地，一个是STOUT，一个是tee指定的文件里面。

[search@h1 ~]$ date | tee vv.txt
2014年 08月 14日 星期四 05:36:12 CST
[search@h1 ~]$ cat vv.txt 
2014年 08月 14日 星期四 05:36:12 CST
[search@h1 ~]$ 

默认会覆盖上次数据，如果不想覆盖，可以加个-a命令。

[search@h1 ~]$ date | tee vv.txt
2014年 08月 14日 星期四 05:36:12 CST
[search@h1 ~]$ cat vv.txt 
2014年 08月 14日 星期四 05:36:12 CST
[search@h1 ~]$ date | tee vv.txt
2014年 08月 14日 星期四 05:37:26 CST
[search@h1 ~]$ date | tee vv.txt
2014年 08月 14日 星期四 05:37:30 CST
[search@h1 ~]$ cat vv.txt 
2014年 08月 14日 星期四 05:37:30 CST
[search@h1 ~]$ date | tee -a vv.txt
2014年 08月 14日 星期四 05:37:43 CST
[search@h1 ~]$ date | tee -a vv.txt
2014年 08月 14日 星期四 05:37:47 CST
[search@h1 ~]$ cat vv.txt 
2014年 08月 14日 星期四 05:37:30 CST
2014年 08月 14日 星期四 05:37:43 CST
2014年 08月 14日 星期四 05:37:47 CST
[search@h1 ~]$ 

利用这个方法，我们就可以既能将数据保存着日志文件里，又可以在屏幕上显示

[search@h1 ~]$ cat ddd.sh 


file=bb


echo "abc" | tee $file


echo "bbb" | tee  -a  $file


echo "ddd" | tee -a  $file


[search@h1 ~]$ sh ddd.sh 
abc
bbb
ddd
[search@h1 ~]$ cat bb 
abc
bbb
ddd
[search@h1 ~]$ 

现在我们就可以将输出给用户的同时，也给自己永久保留一份文件了。