如何对网页上的内容进行批量下载

例如，当我们要从如下网页进行批量下载这些内容时，应该怎么办呢？

我们可能想到的是把这些地址的共同部分存到一个文本文件中，然后用for循环迭代文本中的每一行进行下载。那我们应该怎么做呢？

首先，将保存网页；
接下来，cat网页：

可以看到cat出来的内容时杂乱无章的，那我们怎么提取我们需要的地址呢？这是awk就派上用场啦。
我们可以利用awk对cat的文本文件进行再次编辑：可以发现，我们可以设置以"为分隔符，然后取相应的列，写入一个新的文本文件。代码如下：

然后使用vim进行稍微的编辑，去掉前几行我们不需要的，然后保存，得到如下的内容：

最后，使用wget，我们就可以愉快的批量下载啦！