python 爬取二级页面(整站下载)

最新推荐文章于 2022-12-11 14:19:37 发布

jaray

最新推荐文章于 2022-12-11 14:19:37 发布

阅读量1.2k

点赞数

分类专栏： python 爬虫

本文链接：https://blog.csdn.net/jaray/article/details/108914634

版权

本文介绍了如何使用Python进行整站下载，特别是针对二级页面的爬取。通过实例分享了爬取过程，并指出当前程序存在的问题，即在首页中未将域名替换，作者计划后续进行优化。

摘要由CSDN通过智能技术生成

爬取地址：https://www.gupiaoxuexi.com/post/1319
原码：

from requests_html import HTMLSession
import os

session = HTMLSession()

headers = {
   
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
}

url = 'https://www.gupiaoxuexi.com/post/1319'

response = session.get(url, headers=headers)

html = response.html.html

# html = html.replace('https://www.gupiaoxuexi.com/post/', '')

# 把首页保存到本地.html文件
files = './pac/1/1.html'
with open(files, "a", encoding="UTF-8"