python爬取豆瓣电影top250并保存为xlsx_python 爬虫获取豆瓣电影排行榜前250并写入excel...

豆瓣电影排行榜前250 分为10页，第一页的url为https://movie.douban.com/top250,但实际上应该是https://movie.douban.com/top250?start=0 后面的参数0表示从第几个开始，如0表示从第一(肖申克的救赎)到第二十五(触不可及)，https://movie.douban.com/top250?start=25表示从第二十六(蝙蝠侠：黑暗骑士)到第五十名(死亡诗社)。等等，

所以可以用一个步长为25的range的for循环参数

for i in range(0, 250, 25):print(i)

分析完页面组成后，开始获取页面，直接request.get()发现没有返回任何东西，输出一下响应码

url = 'https://movie.douban.com/top250?start=0'res= request.get(url=url)print(res.status_code)

发现返回响应码418

以前没见过这个，拉网线上网查一下，发现给get里面加一个header参数就行了

这里可以用自己浏览器的user-agent，如

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}

或者用fake_agent(安装直接用pip install fake_agent) 来为自己生成一个随机的agent添加到header字典中

from fake_useragent importUserAgent

headers= {'User-Agent': UserAgent().random}

之后就可以得到页面源码了。

然后使用lxml.etree，即xpath解析页面源码。用浏览器插件xpath finder快速定位到元素

importrequestsimportlxml.etree as etree

url= 'https://movie.douban.com/top250?start=0'headers= {'User-Agent': 'Mozilla/5