这段时间肯定经常听到一句话“我命由我不由天”,没错,就是我们国产动漫---哪咤,今天我们通过python还有上次写的pyquery库来爬取豆瓣网评论内容
爬取豆瓣网评论
1、找到我们想要爬取的电影---小哪咤
2、查看影片评论
点击查看我们的影评,发现只能查看前200个影评,这里就需要登录了
分析出来全部影评的接口地址
好巧用到了上次写的通过requests登录豆瓣网,然后通过session会话访问评论内容-----post请求登录豆瓣网
#coding:utf-8
importrequests#登录请求地址
s =requests.session()
url= 'https://accounts.douban.com/j/mobile/login/basic'
#请求头
headers ={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"}#body数据
data ={'name':"xxxxx", #账号
"password":"xxxx", #密码
"remember":"false"}#发送请求