本文介绍了如何使用Python爬取并解析静态网页，包括获取网页内容、提取数据、保存为PDF格式和CSV文件，同时展示了多线程处理多个详情页链接的方法。
网站是静态网页，没有什么难度
同样是静态页面
网页源代码已经说明数据在什么地方了，利用相关的解析工具，对网页数据进行解析即可。
- 请求网页以及解析
def get_html(html_url):
response = requests.get(url=html_url, headers=headers)
return response
def get_pars(html_data):
selector = parsel.Selector(html_data)
return selector
- 保存内容 PDF格式
html_str = “”"
<!doctype html>
{article}
“”"
def save_article(article, title):
html_path = ‘重庆新闻\’ + title + ‘.html’
pdf_path = ‘重庆新闻pdf\’ + title + ‘.pdf’
html = html_str.format(article=article)
with open(html_path, mode=‘w’, encoding=‘utf-8’) as f:
f.write(html)
print(‘{}已下载完成’.format(title))
最低0.47元/天 解锁文章
2658
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
