Python豆瓣爬虫详解

有没有过周末为看什么电影焦虑，今天手把手教学爬取豆瓣电影评分！

0，当我们打开一个网站的时候这个时候网站给到我们一个cookies，这个cokkies可能是多个参数或一个参数，然后我们再浏览其他的页面的时候网站会校验cookies等信息确认是不是还是一个同一个用户再访问。那么再说模拟登录的时候我们获取到验证码怎么让他再登录的时候也认为是我们就是拿验证码的人呢，就用到会话保持，但是又一些公司为了方式爬虫会禁止sess传递cookies。那么怎么搞了。这里留个彩蛋大家自己研究研究之后有了好案例我再更。

1，话不多说开始今天爬虫之旅 2，先来分析一下网站结构

2.1，通过检查可见在首页接口中我们看不到热门电影，盲猜数据是通过json传输的，进到更多里面直接找到他的一个目录页

2.2，到目录页选择按热度排序，可见数据接口，，然后翻个页看看翻页接口变化

翻页之后可见start参数发生变化，那就是了。读过之前文章的朋友应该想到下一步干啥了

3.0，直接对接口发起请求看一下json数据取值，

headers = {
    "Accept": "application/json, text/plain, */*",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Cache-Control": "no-cache",
    "Connection": "keep-alive",
    "Origin": "https://movie.douban.com",
    "Pragma": "no-cache",
    "Referer": "https://movie.douban.com/explore",
    "Sec-Fetch-Dest": "empty",
    "Sec-Fetch-Mode": "cors",
    "Sec-Fetch-Site": "same-site",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36",
    "sec-ch-ua": "" Not A;Brand";v="99", "Chromium";v="100", "Google Chrome";v="100"",
    "sec-ch-ua-mobile": "?0",
    "sec-ch-ua-platform": ""Windows""
}
cookies = {
    "ll": ""108288"",
    "bid": "5JjiG1qD2ik",
    "ap_v": "0,6.0"
}
url = "https://m.douban.com/rexxar/api/v2/movie/recommend"
params = {
    "refresh": "0",
    "start": "40",
    "count": "20",
    "selected_categories": "{}",
    "uncollect": "false",
    "sort": "T",
    "tags": ""
}
response = requests.get(url, headers=headers, cookies=cookies, params=params).json()['items']
for res in response:
    title = res['title']
    print(title)

ok，这要去什么信息就自行处理把，下课。

如果你对Python感兴趣的话，可以试试我整理的这份Python全套学习资料，微信扫描下方二维码免费领取

包括：Python永久使用安装包、Python web开发，Python，Python数据分析，人工智能、机器学习等学习教程。带你从零基础系统性的学好Python！

零基础Python学习资源介绍

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python学习软件

工欲善其事，必先利其器。学习Python常用的开发软件都在这里了！

三、Python入门学习视频

还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~

四、Python练习题

每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！

五、Python实战案例

光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。这份资料也包含在内的哈~

六、Python面试资料

我们学会了Python之后，有了技能就可以出去找工作啦！下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

七、资料领取

上述完整版Python全套学习资料已经上传CSDN官方，需要的小伙伴可自行微信扫描下方CSDN官方认证二维码输入“领取资料”免费领取！！