相关模块pip安装即可
1、先从列表页中获取详情页的URL地址
是静态网站，可以直接请求网页获取数据
for page in range(1, 31):
url = ‘https://www.bibenet.com/mfzbu{}.html’.format(page)
headers = {
‘Referer’: ‘https://www.bibenet.com/mianfei/’,
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36’
}
response = requests.get(url=url, headers=headers)
selector = parsel.Selector(response.text)
urls = selector.css(‘body > div.wrap > div.clearFiex > div.col9.fl > div.secondary_box > table tr .fl a::attr(href)’).getall()
for page_url in urls:
print(page_url)
2、从详情页中获取标题以及内容
response_2 = requests.get(url=page_url, headers=headers)
selector_2 = parsel.Selector(response_2.text)
article = selector_2.css(‘.container’).get()
title = selector_2.css(‘.detailtitle::text’).get()
3、保存html网页数据并转成PDF
html_str = “”"
<!doctype html>
{article}
“”"
def download(article, title):
html = html_str.format(article=article)
html_path = ‘D:\python\demo\招标网\文书\’ + title + ‘.html’
pdf_path = ‘D:\python\demo\招标网\文书\’ + title + ‘.pdf’
with open(html_path, mode=‘wb’, encoding=‘utf-8’) as f:
f.write(html)
print(‘{}已下载完成’.format(title))
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）
本涵盖了95%以上前端开发知识点，真正体系化！**
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）
扫一扫
568
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
