昨天一个小伙伴让写一个爬虫爬某网站全站 PDF 文档 ,我一听开始 有点头大,全站那数量不得相当惊人了,网站简单看了下,发现这类静态网站好像无须爬虫,借助强大的 IDM 就可以解决问题了。因为 IDM 有一个重要的功能就是站能抓取,和以前早期的一些整站搬运功能类似,以前做网站的人比较懒的时候,就直接 copy 别人整个网站,改改名字就 OK 了。
考虑到老外的网站也就没有这么多版权考虑,目录网址:
https://www.math-salamanders.com/
目的,爬取此网站内所有的 PDF 文件(包括外链中涉及到 PDF 的)
如果要写程序的,你就遍历所有 a 标签再遍历所有页面中的 a 标签,再如此循环,其实自己也不知道要循环多少次,有没有重复的。
IDM 站点抓取
捕获过程如下:
第一步:找到想要捕获图片的网站,将网站地址复制下来。
图 1:IDM 站点抓取功能
第二步:在 IDM 下载器中,点击界面上方的 “站点抓取” 选项。这里要选择整个站点,方便数据完整性,不然有可能文档 不全。
图 2:设置开始页面