python爬取豆瓣Top250——被识破【解决方案一：携带cookie】

爬取豆瓣Top250电影。

import requests #爬虫
from lxml import etree #数据解析
import csv
#头部
headers={
        'Cookie':'自己的cookie
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'
}
url="https://movie.douban.com/top250?start={}&filter="#url
mov_list=[] #装数据

#爬取数据保存为csv文件
fp=open(r"C:\Users\Administrator\Documents\Tencent Files\1936705477\FileRecv\test.csv","w",encoding="gbk") 
header=["电影名","评价人数"]#列名
writer = csv.DictWriter(fp,fieldnames=header)
writer.writeheader() #写入列名              
for i in range(250):
    response=requests.get(url=url.format(i*25),headers=headers)
    html=response.text
    element=etree.HTML(html)#数据解析
    
    li=element.xpath('//*[@id="content"]/div/div[1]/ol/li') #定位标签
    for i in li:
        data={}#保存一条数据
        #获取电影名称
        title=i.xpath("./div[1]/div[2]/div[1]/a/span[1]/text()")[0]
        #获取评价数
        pingjia=i.xpath("./div[1]/div[2]/div[2]/div[1]/span[4]/text()")[0]
        
        data["电影名"]=title
        data["评价人数"]=pingjia
        writer.writerow(data) # 写入数据
fp.close()        
print(mov_list)

被识破：

就需要用户自己去登录或注册豆瓣账号，在开发者模式中的，找到cookie，然后携带到headers请求头中。

headers={
        'Cookie':'自己的cookie ，
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'
}