3.shell脚本基础及grep应用和vim文本编辑及文件查找应用

1.先说一下bash默认的配置文件分为两种:
        两类：
            profile类：为交互式登录的shell进程提供配置
            bashrc类：为非交互式登录的shell进程提供配置

        登录类型：
            交互式登录shell进程：
                直接通过某终端输入账号和密码后登录打开的shell进程；
                使用su命令：su - USERNAME, 或者使用 su -l USERNAME执行的登录切换；

            非交互式登录shell进程：
                su USERNAME执行的登录切换；
                图形界面下打开的终端；
                运行脚本

        profile类：
            全局：对所有用户都生效；
                /etc/profile
                /etc/profile.d/*.sh

            用户个人：仅对当前用户有效；
                ~/.bash_profile

            功用：
                1、用于定义环境变量；
                2、运行命令或脚本；

        bashrc类：
            全局：。
                /etc/bashrc
            用户个人：
                ~/.bashrc

            功用：
                1、定义本地变量；
                2、定义命令别名；

        注意：仅管理员可修改全局配置文件；

        交互式登录shell进程：
            /etc/profile --> /etc/profile.d/* --> ~/.bash_profile --> ~/.bashrc --> /etc/bashrc

        非交互式登录shell进程：
            ~/.bashrc --> /etc/bashrc --> /etc/profile.d/*

        命令行中定义的特性，例如变量和别名作用域为当前shell进程的生命周期；
        配置文件定义的特性，只对随后新启动的shell进程有效；

        让通过配置文件定义的特性立即生效：
            (1) 通过命令行重复定义一次；
            (2) 让shell进程重读配置文件；
                ~]# source /PATH/FROM/CONF_FILE
                ~]# .  /PATH/FROM/CONF_FILE

练习1：.定义对所有用户都生效的命令别名，例如 lftps='lftp 172.16.0.1/pub'
vim /etc/bashrc
ailas lftps='lftp 172.16.0.1/pub'
:wq保存退出。
]# . /etc/bashrc
]# alias 查看别名情况，已生效
2.文本处理工具：

Linux上文本处理三剑客：
    grep, egrep, fgrep：文本过滤工具（模式：pattern）工具；
        grep：基本正则表达式，-E，-F
        egrep：扩展正则表达式， -G，-F
        fgrep：不支持正则表达式，
    sed：stream editor, 流编辑器；文本编辑工具；
    awk：Linux上的实现为gawk，文本报告生成器（格式化文本）；

    正则表达式：Regual Expression, REGEXP
        由一类特殊字符及文本字符所编写的模式，其中有些字符不表示其字面意义，而是用于表示控制或通配的功能；
            分两类：
                基本正则表达式：BRE
                扩展正则表达式：ERE

        元字符：\(hello[[:space:]]\+\)\+

grep： Global search REgular expression and Print out the line.
    作用：文本搜索工具，根据用户指定的“模式（过滤条件）”对目标文本逐行进行匹配检查；打印匹配到的行；        
    模式：由正则表达式的元字符及文本字符所编写出的过滤条件；

    正则表达式引擎；

    grep  [OPTIONS]  PATTERN  [FILE...]
    grep  [OPTIONS]  [-e PATTERN | -f FILE]  [FILE...]

        OPTIONS：
            --color=auto：对匹配到的文本着色后高亮显示；
            -i：ignorecase，忽略字符的大小写；
            -o：仅显示匹配到的字符串本身；
            -v, --invert-match：显示不能被模式匹配到的行；
            -E：支持使用扩展的正则表达式元字符；
            -q, --quiet, --silent：静默模式，即不输出任何信息；

            -A #：after, 后#行
            -B #：before，前#行
            -C #：context，前后各#行

        基本正则表达式元字符：
            字符匹配：
                . ：匹配任意单个字符；
                []：匹配指定范围内的任意单个字符；
                [^]：匹配指定范围外的任意单个字符；
                    [:digit:]、[:lower:]、[:upper:]、[:alpha:]、[:alnum:]、[:punct:]、[:space:]

            匹配次数：用在要指定其出现的次数的字符的后面，用于限制其前面字符出现的次数；默认工作于贪婪模式；
                *：匹配其前面的字符任意次；0,1,多次；
                    例如：grep "x\+y"
                        abxy
                        aby
                        xxxxxy
                        yab
                .*：匹配任意长度的任意字符
                \?：匹配其前面的字符0次或1次；即其前面的字符是可有可无的；
                \+：匹配其前面的字符1次或多次；即其面的字符要出现至少1次；
                \{m\}：匹配其前面的字符m次；
                \{m,n\}：匹配其前面的字符至少m次，至多n次；
                    \{0,n\}：至多n次
                    \{m,\}：至少m次

            位置锚定：
                ^：行首锚定；用于模式的最左侧；
                $：行尾锚定；用于模式的最右侧；
                ^PATTERN$：用于PATTERN来匹配整行；
                    ^$：空白行；
                    ^[[:space:]]*$：空行或包含空白字符的行；

                单词：非特殊字符组成的连续字符（字符串）都称为单词；

                \< 或 \b：词首锚定，用于单词模式的左侧；
                \> 或 \b：词尾锚定，用于单词模式的右侧；
                \<PATTERN\>：匹配完整单词；

                egrep：

    支持扩展的正则表达式实现类似于grep文本过滤功能；grep -E

    egrep [OPTIONS] PATTERN [FILE...]
        选项：
            -i, -o, -v, -q, -A, -B, -C
            -G：支持基本正则表达式

        扩展正则表达式的元字符：
            字符匹配：
                .：任意单个字符
                []：指定范围内的任意单个字符
                [^]：指定范围外的任意单个字符

            次数匹配：
                *：任意次，0,1或多次；
                ?：0次或1次，其前的字符是可有可无的；
                +：其前字符至少1次；
                {m}：其前的字符m次；
                {m,n}：至少m次，至多n次;
                    {0,n}
                    {m,}
            位置锚定
                ^：行首锚定；
                $：行尾锚定；
                \<, \b：词首锚定；    
                \>, \b：词尾锚定；
            分组及引用：
                ()：分组；括号内的模式匹配到的字符会被记录于正则表达式引擎的内部变量中；
                后向引用：\1, \2, ...
            或：
                a|b：a或者b；
                    C|cat：C或cat
                    (c|C)at：cat或Cat

   练习：
                1、显示/etc/passwd文件中不以/bin/bash结尾的行；
                                    grep -v "/bin/bash$" /etc/passwd

                2、找出/etc/passwd文件中的两位数或三位数；
                                grep "\<[0-9]\{2,3\}\>" /etc/passwd

                3、显示/rproc/meminfo文件中以大写或小写s开头的行；用三种方式实现。
                                 grep "^[Ss]" /proc/meminfo
                                 grep -i "^s" /proc/meminfo    ps：-i忽略大小写
                                grep "^\(s\|S\)" /proc/meminfo

                4、使用echo输出一个绝对路径，使用egrep取出路径名，类型执行dirname /etc/passwd的结果；
                                  echo "/etc/passwd" | egrep -o "^/.*/"
               5、 找出ifconfig中的Ip地址，要求结果只显示ip地址.
                                  ifconfig | grep -E -o "([0-9]{0,3}\.){3}[0-9]{0,3}" | head -1
                vim：
    模式化的编辑器

        基本模式：
            编辑模式，命令模式
            输入模式
            末行模式：
                内置的命令行接口；

    打开文件：
        # vim [options] [file ..]
            +#：打开文件后，直接让光标处于第#行的行首；
            +/PATTERN：打开文件后，直接让光标处于第一个被PATTERN匹配到的行的行首；

vim自带的练习教程：vimtutor

                         定制vim的工作特性：

    注意：在末行模式下的设定，仅对当前vim进程有效；
    永久有效：
        全局：/etc/vimrc
        用户个人：～/.vimrc          

                            练习1.：vim定制自动缩进四个字符。

                         ~]# vim /etc/vimrc
                            set ts=4   or  set tabstop=4    
                            set autoindent    
                          .  /etc/vimrc

                            练习2.:编写脚本，实现自动添加三个用户，并计算这三个用户的UID之和。
                        tmp]# vim sum.bash
                        #!/binbash
                            id user1 || useradd user1
                            id1=$(id -u user1)
                            echo "第一个用户的uid为:$id1"
                            id user2 || useradd user2
                            id2=$(id -u user2)
                            echo "第二个用户的uid为:$id2"
                            id user3 || useradd user3
                            id3=$(id -u user3)
                            echo "第三个用户的uid为:$id3"
                            idsum=$[$id1+$id2+$id3]
                            echo "三个用户的uid之和为:$idsum"

                            :wq
                            bash sum.bash

find命令的参数；

pathname: find命令所查找的目录路径。例如用.来表示当前目录，用/来表示系统根目录。
-print： find命令将匹配的文件输出到标准输出。
-exec： find命令对匹配的文件执行该参数所给出的shell命令。相应命令的形式为'command' { } \;，注意{ }和\；之间的空格。
-ok： 和-exec的作用相同，只不过以一种更为安全的模式来执行该参数所给出的shell命令，在执行每一个命令之前，都会给出提示，让用户来确定是否执行。

#-print 将查找到的文件输出到标准输出
#-exec command {} \; —–将查到的文件执行command操作,{} 和 \;之间有空格
#-ok 和-exec相同，只不过在操作前要询用户
例：find . -name .svn | xargs rm -rf

-name filename #查找名为filename的文件
-perm #按执行权限来查找
-user username #按文件属主来查找
-group groupname #按组来查找
-mtime -n +n #按文件更改时间来查找文件，-n指n天以内，+n指n天以前
-atime -n +n #按文件访问时间来查GIN: 0px">

-ctime -n +n #按文件创建时间来查找文件，-n指n天以内，+n指n天以前

-nogroup #查无有效属组的文件，即文件的属组在/etc/groups中不存在
-nouser #查无有效属主的文件，即文件的属主在/etc/passwd中不存
-newer f1 !f2 找文件，-n指n天以内，+n指n天以前
-ctime -n +n #按文件创建时间来查找文件，-n指n天以内，+n指n天以前
-nogroup #查无有效属组的文件，即文件的属组在/etc/groups中不存在
-nouser #查无有效属主的文件，即文件的属主在/etc/passwd中不存
-newer f1 !f2 #查更改时间比f1新但比f2旧的文件
-type b/d/c/p/l/f #查是块设备、目录、字符设备、管道、符号链接、普通文件
-size n[c] #查长度为n块[或n字节]的文件
-depth #使查找在进入子目录前先行查找完本目录
-fstype #查更改时间比f1新但比f2旧的文件
-type b/d/c/p/l/f #查是块设备、目录、字符设备、管道、符号链接、普通文件
-size n[c] #查长度为n块[或n字节]的文件
-depth #使查找在进入子目录前先行查找完本目录
-fstype #查位于某一类型文件系统中的文件，这些文件系统类型通常可 在/etc/fstab中找到
-mount #查文件时不跨越文件系统mount点
-follow #如果遇到符号链接文件，就跟踪链接所指的文件
-cpio %; #查位于某一类型文件系统中的文件，这些文件系统类型通常可 在/etc/fstab中找到
-mount #查文件时不跨越文件系统mount点
-follow #如果遇到符号链接文件，就跟踪链接所指的文件
-cpio #对匹配的文件使用cpio命令，将他们备份到磁带设备中
-prune #忽略某个目录

find ~ -name ".txt" -print #在$HOME中查.txt文件并显示
find . -name ".txt" -print
find . -name "[A-Z]" -print #查以大写字母开头的文件
find /etc -name "host" -print #查以host开头的文件
find . -name "[a-z][a-z][0–9][0–9].txt" -print #查以两个小写字母和两个数字开头的txt文件
find . -perm 755 -print
find . -perm -007 -exec ls -l {} \; #查所有用户都可读写执行的文件同-perm 777
find . -type d -print
find . ! -type d -print
find . -type l -print

find . -size +1000000c -print #查长度大于1Mb的文件
find . -size 100c -print # 查长度为100c的文件
find . -size +10 -print #查长度超过期作废10块的文件（1块=512字节）

cd /
find etc home apps -depth -print | cpio -ivcdC65536 -o /dev/rmt0
find /etc -name "passwd" -exec grep "cnscn" {} \; #看是否存在cnscn用户
find . -name "yao" | xargs file
find . -name "yao" | xargs echo "" > /tmp/core.log
find . -name "yao" | xargs chmod o-w

find -name april 在当前目录下查找以april开始的文件
find -name april fprint file 在当前目录下查找以april开始的文件，并把结果输出到file中
find -name ap -o -name may 查找以ap或may开头的文件
find /mnt -name tom.txt -ftype vfat 在/mnt下查找名称为tom.txt且文件系统类型为vfat的文件
find /mnt -name t.txt ! -ftype vfat 在/mnt下查找名称为tom.txt且文件系统类型不为vfat的文件
find /tmp -name wa* -type l 在/tmp下查找名为wa开头且类型为符号链接的文件
find /home -mtime -2 在/home下查最近两天内改动过的文件
find /home -atime -1 查1天之内被存取过的文件
find /home -mmin +60 在/home下查60分钟前改动过的文件
find /home -amin +30 查最近30分钟前被存取过的文件
find /home -newer tmp.txt 在/home下查更新时间比tmp.txt近的文件或目录
find /home -anewer tmp.txt 在/home下查存取时间比tmp.txt近的文件或目录
find /home -used -2 列出文件或目录被改动过之后，在2日内被存取过的文件或目录
find /home -user cnscn 列出/home目录内属于用户cnscn的文件或目录
find /home -uid +501 列出/home目录内用户的识别码大于501的文件或目录
find /home -group cnscn 列出/home内组为cnscn的文件或目录
find /home -gid 501 列出/home内组id为501的文件或目录
find /home -nouser 列出/home内不属于本地用户的文件或目录
find /home -nogroup 列出/home内不属于本地组的文件或目录
find /home -name tmp.txt -maxdepth 4 列出/home内的tmp.txt 查时深度最多为3层
find /home -name tmp.txt -mindepth 3 从第2层开始查
find /home -empty 查找大小为0的文件或空目录
find /home -size +512k 查大于512k的文件
find /home -size -512k 查小于512k的文件
find /home -links +2 查硬连接数大于2的文件或目录
find /home -perm 0700 查权限为700的文件或目录
find /tmp -name tmp.txt -exec cat {} \;
find /tmp -name tmp.txt -ok rm {} \;

find / -amin -10 # 查找在系统中最后10分钟访问的文件
find / -atime -2 # 查找在系统中最后48小时访问的文件
find / -empty # 查找在系统中为空的文件或者文件夹
find / -group cat # 查找在系统中属于 groupcat的文件
find / -mmin -5 # 查找在系统中最后5分钟里修改过的文件
find / -mtime -1 #查找在系统中最后24小时里修改过的文件
find / -nouser #查找在系统中属于作废用户的文件
find / -user fred #查找在系统中属于FRED这个用户的文件

在/ l o g s目录中查找更改时间在7日以前的文件并删除它们：
find logs/ -type f -mtime +7 -exec rm -f {} \;
在/ l o g s目录中查找更改时间在7日以内的文件并删除它们：
find logs/ -type f -mtime -7 -exec rm -f {} \;
然后加入的计划任务中每日执行便可

转载于:https://blog.51cto.com/14211189/2405190