分享利用 IDM 批量爬取网站静态资源！简单操作采集网站PDF 资源。_idm抓不到pdf文件怎么办

昨天一个小伙伴让写一个爬虫爬某网站全站 PDF 文档 ，我一听开始 有点头大，全站那数量不得相当惊人了，网站简单看了下，发现这类静态网站好像无须爬虫，借助强大的 IDM 就可以解决问题了。因为 IDM 有一个重要的功能就是站能抓取，和以前早期的一些整站搬运功能类似，以前做网站的人比较懒的时候，就直接 copy 别人整个网站，改改名字就 OK 了。

考虑到老外的网站也就没有这么多版权考虑，目录网址：

https://www.math-salamanders.com/

目的，爬取此网站内所有的 PDF 文件（包括外链中涉及到 PDF 的）

如果要写程序的，你就遍历所有 a 标签再遍历所有页面中的 a 标签，再如此循环，其实自己也不知道要循环多少次，有没有重复的。

IDM 站点抓取

捕获过程如下：

第一步：找到想要捕获图片的网站，将网站地址复制下来。

图 1：IDM 站点抓取功能

第二步：在 IDM 下载器中，点击界面上方的 “站点抓取” 选项。这里要选择整个站点，方便数据完整性，不然有可能文档 不全。

图 2：设置开始页面