到目前为止，我们已经学习了如何在 shell 中执行命令，并使用管道将命令组合使用。但是，很多情况下我们需要执行一系列的操作并使用条件或循环这样的控制流。
shell 脚本的复杂性进一步提高。
大多数shell都有自己的一套脚本语言，包括变量、控制流和自己的语法。shell脚本与其他脚本语言不同之处在于，shell 脚本针对 shell 所从事的相关工作进行了优化。因此，创建命令流程（pipelines）、将结果保存到文件、从标准输入中读取输入，这些都是 shell 脚本中的原生操作，这让它比通用的脚本语言更易用。本节中，我们会专注于 bash 脚本，因为它最流行，应用更为广泛。
在bash中为变量赋值的语法是foo=bar，访问变量中存储的数值，其语法为 $foo。 需要注意的是，foo = bar （使用空格隔开）是不能正确工作的，因为解释器会调用程序foo 并将 = 和 bar作为参数。 总的来说，在shell脚本中使用空格会起到分割参数的作用，有时候可能会造成混淆，请务必多加检查。
Bash中的字符串通过' 和 "分隔符来定义，但是它们的含义并不相同。以'定义的字符串为原义字符串，其中的变量不会被转义，而 "定义的字符串会将变量值进行替换。
foo=bar
echo "$foo"
# 打印 bar
echo '$foo'
# 打印 $foo
和其他大多数的编程语言一样，bash也支持if, case, while 和 for 这些控制流关键字。同样地， bash 也支持函数，它可以接受参数并基于参数进行操作。下面这个函数是一个例子，它会创建一个文件夹并使用cd进入该文件夹。
mcd () {
mkdir -p "$1"
cd "$1"
}
这里 $1 是脚本的第一个参数。与其他脚本语言不同的是，bash使用了很多特殊的变量来表示参数、错误代码和相关变量。下面列举了其中一些变量，更完整的列表可以参考 这里。
$0- 脚本名$1到$9- 脚本的参数。$1是第一个参数，依此类推。$@- 所有参数$#- 参数个数$?- 前一个命令的返回值$$- 当前脚本的进程识别码!!- 完整的上一条命令，包括参数。常见应用：当你因为权限不足执行命令失败时，可以使用sudo !!再尝试一次。$_- 上一条命令的最后一个参数。如果你正在使用的是交互式 shell，你可以通过按下Esc之后键入 . 来获取这个值。
命令通常使用 STDOUT来返回输出值，使用STDERR 来返回错误及错误码，便于脚本以更加友好的方式报告错误。 返回码或退出状态是脚本/命令之间交流执行状态的方式。返回值0表示正常执行，其他所有非0的返回值都表示有错误发生。
退出码可以搭配 &&（与操作符）和 ||（或操作符）使用，用来进行条件判断，决定是否执行其他程序。它们都属于短路运算符（short-circuiting） 同一行的多个命令可以用 ; 分隔。程序 true 的返回码永远是0，false 的返回码永远是1。让我们看几个例子
false || echo "Oops, fail"
# Oops, fail
true || echo "Will not be printed"
#
true && echo "Things went well"
# Things went well
false && echo "Will not be printed"
#
false ; echo "This will always run"
# This will always run
另一个常见的模式是以变量的形式获取一个命令的输出，这可以通过 命令替换（command substitution）实现。
当您通过 $( CMD ) 这样的方式来执行CMD 这个命令时，它的输出结果会替换掉 $( CMD ) 。例如，如果执行 for file in $(ls) ，shell首先将调用ls ，然后遍历得到的这些返回值。还有一个冷门的类似特性是 进程替换（process substitution）， <( CMD ) 会执行 CMD 并将结果输出到一个临时文件中，并将 <( CMD ) 替换成临时文件名。这在我们希望返回值通过文件而不是STDIN传递时很有用。例如， diff <(ls foo) <(ls bar) 会显示文件夹 foo 和 bar 中文件的区别。
说了很多，现在该看例子了，下面这个例子展示了一部分上面提到的特性。这段脚本会遍历我们提供的参数，使用grep 搜索字符串 foobar，如果没有找到，则将其作为注释追加到文件中。
#!/bin/bash
echo "Starting program at $(date)" # date会被替换成日期和时间
echo "Running program $0 with $# arguments with pid $$"
for file in "$@"; do
grep foobar "$file" > /dev/null 2> /dev/null
# 如果模式没有找到，则grep退出状态为 1
# 我们将标准输出流和标准错误流重定向到Null，因为我们并不关心这些信息
if [[ $? -ne 0 ]]; then
echo "File $file does not have any foobar, adding one"
echo "# foobar" >> "$file"
fi
done
在条件语句中，我们比较 $? 是否等于0。 Bash实现了许多类似的比较操作，您可以查看 test 手册。 在bash中进行比较时，尽量使用双方括号 [[ ]] 而不是单方括号 [ ]，这样会降低犯错的几率，尽管这样并不能兼容 sh。 更详细的说明参见这里。
当执行脚本时，我们经常需要提供形式类似的参数。bash使我们可以轻松的实现这一操作，它可以基于文件扩展名展开表达式。这一技术被称为shell的 通配（globbing）
- 通配符 - 当你想要利用通配符进行匹配时，你可以分别使用
?和*来匹配一个或任意个字符。例如，对于文件foo,foo1,foo2,foo10和bar,rm foo?这条命令会删除foo1和foo2，而rm foo*则会删除除了bar之外的所有文件。 - 花括号
{}- 当你有一系列的指令，其中包含一段公共子串时，可以用花括号来自动展开这些命令。这在批量移动或转换文件时非常方便。
convert image.{png,jpg}
# 会展开为
convert image.png image.jpg
cp /path/to/project/{foo,bar,baz}.sh /newpath
# 会展开为
cp /path/to/project/foo.sh /path/to/project/bar.sh /path/to/project/baz.sh /newpath
# 也可以结合通配使用
mv *{.py,.sh} folder
# 会移动所有 *.py 和 *.sh 文件
mkdir foo bar
# 下面命令会创建foo/a, foo/b, ... foo/h, bar/a, bar/b, ... bar/h这些文件
touch {foo,bar}/{a..h}
touch foo/x bar/y
# 比较文件夹 foo 和 bar 中包含文件的不同
diff <(ls foo) <(ls bar)
# 输出
# < x
# ---
# > y
编写 bash 脚本有时候会很别扭和反直觉。例如 shellcheck 这样的工具可以帮助你定位sh/bash脚本中的错误。
注意，脚本并不一定只有用 bash 写才能在终端里调用。比如说，这是一段 Python 脚本，作用是将输入的参数倒序输出：
#!/usr/local/bin/python
import sys
for arg in reversed(sys.argv[1:]):
print(arg)
内核知道去用 python 解释器而不是 shell 命令来运行这段脚本，是因为脚本的开头第一行的 shebang。
在 shebang 行中使用 env 命令是一种好的实践，它会利用环境变量中的程序来解析该脚本，这样就提高了您的脚本的可移植性。env 会利用我们第一节讲座中介绍过的PATH 环境变量来进行定位。 例如，使用了env的shebang看上去是这样的#!/usr/bin/env python。
shell函数和脚本有如下一些不同点：
- 函数只能与shell使用相同的语言，脚本可以使用任意语言。因此在脚本中包含
shebang是很重要的。 - 函数仅在定义时被加载，脚本会在每次被执行时加载。这让函数的加载比脚本略快一些，但每次修改函数定义，都要重新加载一次。
- 函数会在当前的shell环境中执行，脚本会在单独的进程中执行。因此，函数可以对环境变量进行更改，比如改变当前工作目录，脚本则不行。脚本需要使用 export 将环境变量导出，并将值传递给环境变量。
- 与其他程序语言一样，函数可以提高代码模块性、代码复用性并创建清晰性的结构。shell脚本中往往也会包含它们自己的函数定义。
Shell 工具
查看命令如何使用
看到这里，您可能会有疑问，我们应该如何为特定的命令找到合适的标记呢？例如 ls -l, mv -i 和 mkdir -p。更普遍的是，给您一个命令行，您应该怎样了解如何使用这个命令行并找出它的不同的选项呢？ 一般来说，您可能会先去网上搜索答案，但是，UNIX 可比 StackOverflow 出现的早，因此我们的系统里其实早就包含了可以获取相关信息的方法。
在上一节中我们介绍过，最常用的方法是为对应的命令行添加-h 或 --help 标记。另外一个更详细的方法则是使用man 命令。man 命令是手册（manual）的缩写，它提供了命令的用户手册。
例如，man rm 会输出命令 rm 的说明，同时还有其标记列表，包括之前我们介绍过的-i。 事实上，目前我们给出的所有命令的说明链接，都是网页版的Linux命令手册。即使是您安装的第三方命令，前提是开发者编写了手册并将其包含在了安装包中。在交互式的、基于字符处理的终端窗口中，一般也可以通过 :help 命令或键入 ? 来获取帮助。
有时候手册内容太过详实，让我们难以在其中查找哪些最常用的标记和语法。 TLDR pages 是一个很不错的替代品，它提供了一些案例，可以帮助您快速找到正确的选项。
例如，自己就常常在tldr上搜索tar 和 ffmpeg 的用法。
查找文件
程序员们面对的最常见的重复任务就是查找文件或目录。所有的类UNIX系统都包含一个名为 find 的工具，它是 shell 上用于查找文件的绝佳工具。find命令会递归地搜索符合条件的文件，例如：
# 查找所有名称为src的文件夹
find . -name src -type d
# 查找所有文件夹路径中包含test的python文件
find . -path '*/test/*.py' -type f
# 查找前一天修改的所有文件
find . -mtime -1
# 查找所有大小在500k至10M的tar.gz文件
find . -size +500k -size -10M -name '*.tar.gz'
除了列出所寻找的文件之外，find 还能对所有查找到的文件进行操作。这能极大地简化一些单调的任务。
# 删除全部扩展名为.tmp 的文件
find . -name '*.tmp' -exec rm {} \;
# 查找全部的 PNG 文件并将其转换为 JPG
find . -name '*.png' -exec convert {} {}.jpg \;
尽管 find 用途广泛，它的语法却比较难以记忆。例如，为了查找满足模式 PATTERN 的文件，您需要执行 find -name '*PATTERN*' (如果您希望模式匹配时是不区分大小写，可以使用-iname选项）
您当然可以使用 alias 设置别名来简化上述操作，但 shell 的哲学之一便是寻找（更好用的）替代方案。 记住，shell 最好的特性就是您只是在调用程序，因此您只要找到合适的替代程序即可（甚至自己编写）。
例如，fd 就是一个更简单、更快速、更友好的程序，它可以用来作为find的替代品。它有很多不错的默认设置，例如输出着色、默认支持正则匹配、支持unicode并且我认为它的语法更符合直觉。以模式PATTERN 搜索的语法是 fd PATTERN。
大多数人都认为 find 和 fd 已经很好用了，但是有的人可能想知道，我们是不是可以有更高效的方法，例如不要每次都搜索文件而是通过编译索引或建立数据库的方式来实现更加快速地搜索。
这就要靠 locate 了。 locate 使用一个由 updatedb负责更新的数据库，在大多数系统中 updatedb 都会通过 cron 每日更新。这便需要我们在速度和时效性之间作出权衡。而且，find 和类似的工具可以通过别的属性比如文件大小、修改时间或是权限来查找文件，locate则只能通过文件名。 这里有一个更详细的对比。
查找代码
查找文件是很有用的技能，但是很多时候您的目标其实是查看文件的内容。一个最常见的场景是您希望查找具有某种模式的全部文件，并找它们的位置。
为了实现这一点，很多类UNIX的系统都提供了grep命令，它是用于对输入文本进行匹配的通用工具。它是一个非常重要的shell工具，我们会在后续的数据清理课程中深入的探讨它。
grep 有很多选项，这也使它成为一个非常全能的工具。其中我经常使用的有 -C ：获取查找结果的上下文（Context）；-v 将对结果进行反选（Invert），也就是输出不匹配的结果。举例来说， grep -C 5 会输出匹配结果前后五行。当需要搜索大量文件的时候，使用 -R 会递归地进入子目录并搜索所有的文本文件。
但是，我们有很多办法可以对 grep -R 进行改进，例如使其忽略.git 文件夹，使用多CPU等等。
因此也出现了很多它的替代品，包括 ack, ag 和 rg。它们都特别好用，但是功能也都差不多，我比较常用的是 ripgrep (rg) ，因为它速度快，而且用法非常符合直觉。例子如下：
# 查找所有使用了 requests 库的文件
rg -t py 'import requests'
# 查找所有没有写 shebang 的文件（包含隐藏文件）
rg -u --files-without-match "^#!"
# 查找所有的foo字符串，并打印其之后的5行
rg foo -A 5
# 打印匹配的统计信息（匹配的行和文件的数量）
rg --stats PATTERN
与 find/fd 一样，重要的是你要知道有些问题使用合适的工具就会迎刃而解，而具体选择哪个工具则不是那么重要。
查找 shell 命令
目前为止，我们已经学习了如何查找文件和代码，但随着你使用shell的时间越来越久，您可能想要找到之前输入过的某条命令。首先，按向上的方向键会显示你使用过的上一条命令，继续按上键则会遍历整个历史记录。
history 命令允许您以程序员的方式来访问shell中输入的历史命令。这个命令会在标准输出中打印shell中的历史命令。如果我们要搜索历史记录，则可以利用管道将输出结果传递给 grep 进行模式搜索。 history | grep find 会打印包含find子串的命令。
对于大多数的shell来说，您可以使用 Ctrl+R 对命令历史记录进行回溯搜索。敲 Ctrl+R 后您可以输入子串来进行匹配，查找历史命令行。
反复按下就会在所有搜索结果中循环。在 zsh 中，使用方向键上或下也可以完成这项工作。
Ctrl+R 可以配合 fzf 使用。fzf 是一个通用的模糊查找工具，它可以和很多命令一起使用。这里我们可以对历史命令进行模糊查找并将结果以赏心悦目的格式输出。
另外一个和历史命令相关的技巧我喜欢称之为基于历史的自动补全。 这一特性最初是由 fish shell 创建的，它可以根据您最近使用过的开头相同的命令，动态地对当前的shell命令进行补全。这一功能在 zsh 中也可以使用，它可以极大的提高用户体验。
你可以修改 shell history 的行为，例如，如果在命令的开头加上一个空格，它就不会被加进shell记录中。当你输入包含密码或是其他敏感信息的命令时会用到这一特性。 为此你需要在.bashrc中添加HISTCONTROL=ignorespace或者向.zshrc 添加 setopt HIST_IGNORE_SPACE。 如果你不小心忘了在前面加空格，可以通过编辑 .bash_history或 .zhistory 来手动地从历史记录中移除那一项。
文件夹导航
之前对所有操作我们都默认一个前提，即您已经位于想要执行命令的目录下，但是如何才能高效地在目录间随意切换呢？有很多简便的方法可以做到，比如设置alias，使用 ln -s 创建符号连接等。而开发者们已经想到了很多更为精妙的解决方案。
由于本课程的目的是尽可能对你的日常习惯进行优化。因此，我们可以使用fasd和 autojump 这两个工具来查找最常用或最近使用的文件和目录。
Fasd 基于 frecency 对文件和文件排序，也就是说它会同时针对频率（frequency）和时效（recency）进行排序。默认情况下，fasd使用命令 z 帮助我们快速切换到最常访问的目录。例如， 如果您经常访问/home/user/files/cool_project 目录，那么可以直接使用 z cool 跳转到该目录。对于 autojump，则使用j cool代替即可。
还有一些更复杂的工具可以用来概览目录结构，例如 tree, broot 或更加完整的文件管理器，例如 nnn 或 ranger。
课后练习
-
阅读 man ls ，然后使用
ls命令进行如下操作：- 所有文件（包括隐藏文件）
- 文件打印以人类可以理解的格式输出 (例如，使用454M 而不是 454279954)
- 文件以最近访问顺序排序
- 以彩色文本显示输出结果
典型输出如下：
-rw-r--r-- 1 user group 1.1M Jan 14 09:53 baz drwxr-xr-x 5 user group 160 Jan 14 09:53 . -rw-r--r-- 1 user group 514 Jan 14 06:42 bar -rw-r--r-- 1 user group 106M Jan 13 12:12 foo drwx------+ 47 user group 1.5K Jan 12 18:08 .. -
编写两个bash函数
marco和polo执行下面的操作。 每当你执行marco时，当前的工作目录应当以某种形式保存，当执行polo时，无论现在处在什么目录下，都应当cd回到当时执行marco的目录。 为了方便debug，你可以把代码写在单独的文件marco.sh中，并通过source marco.sh命令，（重新）加载函数-。 -
假设您有一个命令，它很少出错。因此为了在出错时能够对其进行调试，需要花费大量的时间重现错误并捕获输出。 编写一段bash脚本，运行如下的脚本直到它出错，将它的标准输出和标准错误流记录到文件，并在最后输出所有内容。 加分项：报告脚本在失败前共运行了多少次。
#!/usr/bin/env bash n=$(( RANDOM % 100 )) if [[ n -eq 42 ]]; then echo "Something went wrong" >&2 echo "The error was using magic numbers" exit 1 fi echo "Everything went according to plan" -
本节课我们讲解的
find命令中的-exec参数非常强大，它可以对我们查找的文件进行操作。但是，如果我们要对所有文件进行操作呢？例如创建一个zip压缩文件？我们已经知道，命令行可以从参数或标准输入接受输入。在用管道连接命令时，我们将标准输出和标准输入连接起来，但是有些命令，例如tar则需要从参数接受输入。这里我们可以使用xargs 命令，它可以使用标准输入中的内容作为参数。 例如ls | xargs rm会删除当前目录中的所有文件。您的任务是编写一个命令，它可以递归地查找文件夹中所有的HTML文件，并将它们压缩成zip文件。注意，即使文件名中包含空格，您的命令也应该能够正确执行（提示：查看
xargs的参数-d，译注：MacOS 上的xargs没有-d，查看这个issue）如果您使用的是 MacOS，请注意默认的 BSD
find与 GNU coreutils 中的是不一样的。你可以为find添加-print0选项，并为xargs添加-0选项。作为 Mac 用户，您需要注意 mac 系统自带的命令行工具和 GNU 中对应的工具是有区别的；如果你想使用 GNU 版本的工具，也可以使用 brew 来安装。 -
（进阶）编写一个命令或脚本递归的查找文件夹中最近使用的文件。更通用的做法，你可以按照最近的使用时间列出文件吗？
课后练习答案
1、指令如下：
所有文件：-l；
输出格式：-h；
颜色：--color[=WHEN]：使用不同的颜色高亮显示不同类型文件，WHEN的默认取值为'always'，也可以是'never'或'auto'最近的访问顺序：-t
访问顺序：当使用-t或--sort=time来按照时间排序时，可以添加指令：--time=WORD；WORD可取值为atime、access、use(表示使用访问时间排序)；或者ctime、status（状态改变时间排序），来取代默认以内容修改时间排序；
$ ls -laht --time=atime --color=auto输出结果：
总计 20K
drwxrwxr-x 2 seven seven 4.0K 7月 25 18:00 .
-rw-rw-r-- 1 seven seven 6 7月 25 18:00 d
-rw-rw-r-- 1 seven seven 15 7月 25 17:55 c
-rw-rw-r-- 1 seven seven 10 7月 25 17:52 a
-rw-rw-r-- 1 seven seven 0 7月 25 17:05 x
drwxrwxr-x 4 seven seven 4.0K 7月 25 17:05 ..
-rwxrwxrwx 1 seven seven 0 7月 25 17:05 b
-rw-rw-r-- 1 seven seven 0 7月 25 17:05 e
-rw-rw-r-- 1 seven seven 0 7月 25 17:05 f
-rw-rw-r-- 1 seven seven 0 7月 25 17:05 g
-rw-rw-r-- 1 seven seven 0 7月 25 17:05 h2、编写以下程序：
#!/bin/bash
marco(){
echo "$(pwd)" > $HOME/marco_history.log
echo "save pwd $(pwd)"
}
polo(){
cd "$(cat "$HOME/marco_history.log")"
}
- #!/bin/bash
这一行是shebang行，告诉我们要使用bash去解释代码
- echo "$(pwd)" > $HOME/marco_history.log
首先，"为转义字符，因此会将$(pwd)转译为当前所在的路径，并通过 > 将当前路径存到$HOME/marco_history.log此处，其中HOME为环境变量$HOME就是/home/用户名，即$HOME = /home/用户名。
- cd "$(cat "$HOME/marco_history.log")"
"$HOME/marco_history.log"：双引号确保即使路径中包含空格或其他特殊字符，该路径仍然能够被正确识别为一个整体。
最外层双引号确保命令替换的结果作为一个整体处理，而不会被拆分。如果结果中包含空格或其他特殊字符（例如：空格），双引号可以防止它们导致错误的参数分割。
按找如下顺序输入指令：
$ source marco.sh
$ marco
$ cd ..
$ polo即可实现。
3、将如下代码写入buggy.sh
#!/usr/bin/env bash
n=$(( RANDOM % 100 ))
if [[ n -eq 42 ]]; then
echo "Something went wrong"
>&2 echo "The error was using magic numbers"
exit 1
fi
echo "Everything went according to plan"将如下代码写入debug.sh
#!/usr/bin/env bash
echo > out.log #清空或创建 out.log，标准输出重定向到 out.log
for ((count=0;;count++))
do
./buggy.sh &>> out.log #运行 buggy.sh 脚本，并将其标准输出和标准错误都重定向并追加到 out.log 文件中
if [[ $? -ne 0 ]]; then #这行检查上一个命令（./buggy.sh）的退出状态码
echo "failed after $count times" #如果 buggy.sh 返回非零状态码（即失败），则输出一条消息，显示 buggy.sh 执行失败的次数。
break
fi
done输入指令，报错
$ sudo ./debug.sh
sudo: ./debug.sh：找不到命令经过查阅：是权限问题，没有执行权限。
$ ls -l debug.sh
-rw-rw-r-- 1 seven seven 195 7月 26 11:02 debug.sh
修改权限：
$ chmod 777 debug.sh
seven@seven-vm:~$ ls -l debug.sh
-rwxrwxrwx 1 seven seven 195 7月 26 11:02 debug.sh执行：
$ sudo ./debug.sh
failed after 36 times完成。
4、输入以下指令：
find . -type f -name "*.html" | xargs -d '\n' tar -cvzf html.zipfind . -type f -name "*.html"
-
find是一个用于查找文件和目录的命令。 -
.表示从当前目录开始查找。 -
-type f限制查找结果为普通文件（排除目录、设备文件等）。 -
-name "*.html"限制查找结果为扩展名为.html的文件。结果是所有以
.html结尾的文件列表，从当前目录及其子目录中找到的所有.html文件。
|
|是管道符，将前一个命令的输出传递给下一个命令作为输入。
xargs -d '\n' tar -cvzf html.zip
xargs是一个将输入转换为命令行参数的工具。-d '\n'指定xargs以换行符（\n）作为分隔符来处理输入。这样，每一行输入（每个.html文件）都会被作为独立的参数传递给后面的命令。tar -cvzf html.zip是创建压缩文件的命令：tar是用于归档和压缩文件的命令。-c创建一个新的归档文件。-v详细模式，显示归档过程中的文件名。-z通过 gzip 压缩归档文件。-f html.zip指定归档文件的名称为html.zip
5、输入以下指令：
find . -type f -mmin -60 -print0 | xargs -0 ls -lt | head -10find . -type f -mmin -60 -print0
find：查找文件和目录的命令。.：从当前目录开始查找。-type f：限制查找结果为普通文件。-mmin -60：查找在最近 60 分钟内修改过的文件。-print0：以 null 字符（\0）而不是换行符分隔输出文件名。这对于处理文件名中包含空格或特殊字符时非常有用。
|（管道符）
- 将
find命令的输出传递给xargs命令作为输入。
xargs -0 ls -lt
xargs：构建并执行命令行的工具。-0：告诉xargs输入文件名以 null 字符分隔。这与-print0选项配合使用，可以正确处理包含空格或特殊字符的文件名。ls -lt：列出文件的详细信息，并按修改时间排序（最近修改的文件排在最前面）。-l：使用长格式列出文件信息，包括权限、所有者、大小和修改时间等。-t：按修改时间排序（最近修改的文件排在最前面）。
| head -10
head：输出文件的开头部分。-10：只输出前 10 行，这将是最近修改的前 10 个文件的信息。
1145
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
