Python爬虫初探（六）——爬虫之xpath实战（爬取高考分数线信息）

一、得到要爬取的url
二、拿到网页源码
三、得到各省份分数链接

上一章我们讨论了xpath的简单使用，这次我们就来实际应用一下xpath，看看它使用有多方便。
最近高考结束，各省分数线也陆续公布了，咱们今天就来爬取各省的高考分数线。看看每个省份的学生成绩如何。

一、得到要爬取的url

url地址如下：

url = 'https://gaokao.eol.cn/news/'

二、拿到网页源码

进行简单的get请求，唯一需要注意的是要带上请求头。还要注意乱码的问题。

headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
    }
response = requests.get(url,headers=headers)
response.encoding = 'utf-8'
shengfen = response.text