下载一个页面的所有 pdf 文件

最新推荐文章于 2024-04-29 21:50:55 发布

weixin_34232744

最新推荐文章于 2024-04-29 21:50:55 发布

阅读量410

点赞数

文章标签： python 数据结构与算法

原文链接：https://my.oschina.net/sukai/blog/638577

版权

为什么80%的码农都做不了架构师？>>>

要下载裘宗燕老师的数据结构与算法（Python 语言）讲义,

使用正则表达式

#!/usr/bin/env python

import re
import urllib.request as request

baseurl = 'http://www.math.pku.edu.cn/teachers/qiuzy/ds_python/courseware/'
with request.urlopen(baseurl) as response:
    html = response.read().decode('gb2312')

pdfurls = re.findall(r'[^\"]*.pdf', html, re.I)
for name in pdfurls:
    request.urlretrieve(baseurl+name, name)
    print('下载{}成功'.format(name))

使用 Beautiful Soup

#!/usr/bin/env python

import urllib.request as request
import bs4

baseurl = 'http://www.math.pku.edu.cn/teachers/qiuzy/ds_python/courseware/'
with request.urlopen(baseurl) as response:
    html = response.read()

soup = bs4.BeautifulSoup(html, 'lxml')
for link in soup.find_all('a'):
    name  = link.get('href')
    if 'pdf' in name:
        request.urlretrieve(baseurl+name, name)
        print('download {} success'.format(name))

转载于:https://my.oschina.net/sukai/blog/638577