python爬虫案例（有缺陷文末说明）爬取初中英语练习题

氼乚735

于 2022-01-30 11:26:07 发布

阅读量1k

点赞数

文章标签： python 爬虫

本文链接：https://blog.csdn.net/qpp77/article/details/122751136

版权

本文介绍了作者为侄子爬取初中英语练习题的过程，使用Python进行爬虫开发，抓取静态网页内容。存在的问题包括标题未正确插入、多余内容未过滤、字符乱码以及未处理多页情况。作者提供了改进的思路，如替换乱码字符，手动或匹配删除不需要的内容，并欢迎读者提供指教。

摘要由CSDN通过智能技术生成

应表哥要求给侄子爬取一点英语练习题作为寒假附加作业

爬取内容如下

网址如下

# https://xiaoxue.hujiang.com/xsc/yingyu/p342265/
# https://xiaoxue.hujiang.com/xsc/yingyu/p342290/

区别为最后的p342265到p342290

而且网页为静态网页，所需内容在p标签内（有一点点是不需要的）

代码如下：

#导入所需要的模块
import time
import requests
import re
#访问的url
url='https://xiaoxue.hujiang.com/xsc/yingyu/p3422%s/'
#设置windows代理头
headers = {
'user-agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'
    }
#循环填充并爬取
for i in range(65,91):
    respone=requests.get(url%i,headers=headers,timeout=3)
    ti