一、得到要爬取的url
二、拿到网页源码
三、得到各省份分数链接
上一章我们讨论了xpath的简单使用,这次我们就来实际应用一下xpath,看看它使用有多方便。
最近高考结束,各省分数线也陆续公布了,咱们今天就来爬取各省的高考分数线。看看每个省份的学生成绩如何。
一、得到要爬取的url
url地址如下:
url = 'https://gaokao.eol.cn/news/'
二、拿到网页源码
进行简单的get请求,唯一需要注意的是要带上请求头。还要注意乱码的问题。
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
}
response = requests.get(url,headers=headers)
response.encoding = 'utf-8'
shengfen