shell文本处理

最于文件的操作以前都是用高级编程语言来操作的。今天恰好需要将一个目录中的文件信息存储到sqlite3数据库中（我用linux中的工具和shell来作为自己毕业设计做原型开发）。下面记录一下这里用到的部分知识，以作备忘。(用ls命令来说明）。

1.关于shell中的管道和重定向问题。

这个知识基础，这里不再说了。这里指出来，知识为了说明用管道传输数据和从文件读入数据基本相同。

2.读取文件中每一行的内容

ls -l |while read LINE;
do
echo "********"
echo $LINE
done
这样会一行一行的列出管道（文件）中的内容。

3 将一行字符串中不同的字段分别读取

miko@bogon:~/wordspace> echo "hello world" | awk '{print "arg1:" $1;print "arg2:" $2 ;print "all arg is:" $0}'
arg1:hello
arg2:world
all arg is:hello world

这个是用awk实现。

4.shell中的常用工具


AWK 一种用于处理文本的编程语言工具

SED 是stream editor的缩写。是一个非交互式上下文(context)编辑器。

它被设计在下列三种情况下发挥作用:
　　 1) 编辑那些对舒适的交互式编辑而言太大的文件。
　　 2) 在编辑命令太复杂而难于在交互模式下键入的时候编辑任何大小的文件。
　　 3) 要在对输入的一趟扫描中有效的进行多个‘全局’(global)编辑函数。
GREP 一种强大的文本搜索工具。

（global search regular expression(RE) and print out the line,全面搜索正则表达式并 把行打印出来）


它能使用正则表达式搜索文本，并把匹配的行打印出来


上述三种工具对shell脚本的编写很重要，合理的选择工具能够使代码简洁并且事半功倍。